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大 约 在 2008 年 的 时 候 ， 我 参与 设计 和 开发 的 一 个 电信 系统 在 月 初出 
帐 期 ， 总 是 发 生 大 量 的 连接 超时 和 读 写 超时 异常 ， 业 务 的 失败 率 相 比 于 
平时 高 了 很 多 ， 报 表 中 的 很 多 指标 都 差强人意 。 后 来 经 过 排查 ， 发 现 问 
题 的 主要 原因 出 现在 下 游 网 元 的 处 理性 能 上 ， 月 初 的 时 候 BSS 出 帐 ， 在 
出 帐 期 间 BSS 系 统 运行 缓慢 ， 由 于 双方 采用 了 同步 阻塞 式 的 HITP+XML 
进行 通信 ， 导 致 任何 一 方 处 理 缓慢 都 会 影响 对 方 的 处 理性 能 。 按 照 故 障 
隔离 的 设计 原则 ， 对 方 处 理 速 度 慢 或 者 不 回应 答 ， 不 应 该 影响 系统 的 其 
他 功能 模块 或 者 协议 栈 ， 但 是 在 同步 阻塞 WO 通信 模型 下 ， 这 种 故障 传 
播 和 相互 影响 是 不 可 避免 的 ， 很 难 通过 业务 层面 解决 。 




















受 限 于 当时 Tomcat 和 Servlet 的 同步 阻塞 IO 模型 ， 以 及 在 Java 领 域 异 
步 HITP 协 议 栈 的 技术 积累 不 足 ， 当 时 我 们 并 没有 办 法 完全 解决 这 个 问 
题 ， 只 能 通过 调整 线程 池 策 略 和 HTTP 超 时 时 间 来 从 业务 层面 做 规避 。 


2009 年 ， 由 于 对 技术 的 热爱 ， 我 作为 业务 骨干 被 领导 派 去 参加 一 个 
重点 业务 平台 的 研发 工作 ， 与 两 位 资深 的 架构 师 ( 其 中 一 位 工作 20 年 ， 
做 华为 交换 机 出 身 ， 共 同 参 与 。 这 是 我 第 一 次 全 面 接触 异步 /O 编 程 和 
高 性 能 电信 级 协议 栈 的 开发 ， 眼 界 大 开 一 一 异步 高 性 能 内 部 协议 栈 、 异 
步 HTTP、 异 步 SOAP、 异 步 SMPP...... 所 有 的 协议 栈 都 是 异步 非 阻塞 。 
后 来 的 性 能 测试 表明 : 基于 Reactor 模 型 统一 调度 的 长 连接 和 短 连 接 协 议 
栈 ， 无 论 是 性 能 、 可 靠 性 还 是 可 维护 性 ， 都 可 以 “秒杀 ”传统 基于 BIO 开 
发 的 应 用 服务 器 和 各 种 协议 栈 ， 这 种 差异 本 质 上 是 一 种 代 差 。 











在 我 从 事 异步 NIO 编 程 的 2009 年 ， 业 界 还 没有 成 熟 的 NIO 框 架 ， 那 
个 时 候 Mina 刚 刚 开始 起 步 ， 功 能 和 性 能 都 达 不 到 商用 标准 。 最 困难 的 
是 ， 国 内 Java 领 域 的 异步 通信 还 没有 流行 ， 整 个 业界 的 积累 都 非常 少 。 
那个 时 候 资 料 匮乏 ， 能 够 交流 和 探讨 的 圈 内 人 很 少 ， 一 旦 躁 住 “ 地 雷 ”， 
就 需要 夜以继日 地 维护 。 在 随后 2 年 多 的 时 间 里 ， 经 历 了 10 多 次 的 在 通 
宵 、 凌 晨 被 一 线 的 运 维 人 员 电 话 吵 醒 等 种 种 磨难 之 后 ， 我 们 自 研 的 NIO 
框架 才 逐 渐 稳 定 和 成 熟 。 期 间 ， 人 解决 的 BUG 总 计 20~30 个 。 


从 2004 年 JDK1.4 首 次 提供 NIO ”1.0 类 库 到 现在 ， 已 经 过 去 了 整整 10 
年 。JSR 51 的 设计 初 囊 就 是 让 Java 能 够 提供 非 阻塞 、 具 有 弹性 伸缩 能 
的 异步 JO 类 库 ， 从 而 结束 Java 在 高 性 能 服务 器 领域 的 不 利 地 位 。 然 而 ， 
在 相当 长 的 一 段 时 间 里 ，Java 的 NIO 编 程 并 没有 流行 起 来 ， 究 其 原因 如 
Ts 


1. 大 多 数 高 性 能 服务 器 ， 被 C 和 C++ 语言 盘 跟 ， 由 于 它们 可 以 直接 
使 用 操作 系统 的 异步 VO 能 力 ， 所 以 对 JDK 的 NIO 并 不 关心 ; 


2. 移动 互联 网 尚未 兴起 ， 基 于 Java 的 大 规模 分 布 式 系 统 极 少 ， 很 
多 中 小 型 应 用 服务 对 于 异步 WO 的 诉求 不 是 很 强烈 ; 








3. 高 性 能 、 高 可 靠 性 领域 ， 例 如 银行 、 证 券 、 电 信 等 依然 以 
C++ 为 主导 ，Java 充 当 打 杂 的 角色 ，NIO 暂 时 没有 用 武之 地 ; 





4. 当时 主流 的 J2EE 服 务 器 ， 几 乎 全 部 基于 同步 阻塞 IO 构建 ， 例 如 
Servlet、Tomcat 等 ， 由 于 它们 应 用 广泛 ， 如 果 这 些 容 右 不 支持 NIO， 用 
户 很 难 具 备 独 立 构 建 异步 协议 栈 的 能 


5. 异步 NIO 编 程 门槛 比较 高 ， 开 发 和 维护 一 亚 基 于 NIO 的 协议 栈 对 
很 多 中 小 型 公司 来 说 像 是 一 场 墨 梦 ; 


6. 业界 NIO 框 架 不 成 熟 ， 很 难 商用 ; 
7. 国内 研发 界 对 NIO 的 陌生 和 认识 不 足 ， 没 有 充分 重视 。 


基于 上 述 几 种 原因 ，NIO 编 程 的 推广 和 发 展 长 期 滞后 。 值 得 欣慰 的 
是 ， 随 着 大 规模 分 布 式 系 统 、 大 数据 和 流 式 计 算 框架 的 兴起 ， 基 于 Java 
来 构建 这 些 系统 已 经 成 为 主流 ，NIO 编 程 和 NIO 框 架 在 此 期 间 得 到 了 大 
规模 的 商用 。 在 互联 网 领域 ,阿里 的 分 布 式 服务 框架 Dubbo、 
RocketMQ， 大 数据 的 基础 序列 化 和 通信 框架 Avro， 以 及 很 多 开源 的 软 
件 都 已 经 开始 使 用 Netty 来 构建 高 性 能 、 分 布 式 通 信和 能 力 ，Netty 社 区 的 
活跃 度 也 名 列 前 季 。 根 据 目 前 的 信息 ，Netty 已 经 在 如 下 几 个 领域 得 到 
了 大 规模 的 商业 应 用 。 





1. 互联 网 领域 ; 
2. 电信 和 领域 ; 


3. 大 数据 领域 ; 


5. 游戏 行业 ; 


2014 年 春节 前 ， 我 分 享 了 一 篇 博文 《Netty5.0 架 构 训 析 和 源码 解 
读 》， 短 短 1 个 月 下 载 量 达到 了 4000 多 。 很 多 网 友 向 我 咨询 NIO 编 程 技 
术 、NIO 框 架 如 何 选择 等 问题 ， 也 有 一 些 圈 内 朋友 和 出 版 社 邀 请 我 写 一 
本 关于 Netty 的 技术 书籍 。 作 为 最 流行 、 表 现 最 优异 的 NIO 框 架 ，Netty 
深 受 大 家 喜爱 ， 但 是 长 期 以 来 除了 UserGuide 之 外 ， 国 内 鲜 有 Netty 相 关 














的 技术 书籍 供 广大 NIO 编 程 爱好 者 学 习 和 人 参考。 由 于 Netty 源 码 的 复杂 性 
和 NIO 编 程 本 身 的 技术 门槛 限制 ， 对 于 大 多 数 读 者 而 言 ， 通 过 目 己 阅读 
和 分 析 源 人 码 来 深入 掌握 Netty 的 设计 原理 和 实现 细节 是 件 困难 的 事情 。 

从 2011 年 开始 我 系统 性 的 分 析 和 应 用 了 Netty 和 Mina， 转 瞬间 已 经 过 去 
了 3 年 多 。 在 这 3 年 的 时 间 里 ， 我 们 的 系统 经 受 了 无 数 严 苛 的 考验 ， 在 这 
个 过 程 中 ， 对 Netty 和 Mina 有 了 更 深刻 的 体验 ， 也 积累 了 丰富 的 运 维 和 
实战 经 验 。 我 们 都 是 开源 框架 Netty 的 受益 者 ， 为 了 让 更 多 的 朋友 和 同 
行 能 够 了 解 NIO 编 程 ， 深 入 学 习 和 和 掌握 Netty 这 个 NIO 利 器 ， 我 打算 将 我 
的 经 验 和 大 家 分 享 ， 同 时 也 结束 国内 疝 无 Netty 学 习 教 材 的 尴 众 境地 。 


联系 方式 


尽管 我 也 有 技术 洁 辛 ,希望 诸 事 完美 ,但 是 由 于 Netty 代 码 的 庞杂 
和 涉及 到 的 知识 点 太 多 ， 一 本 书籍 很 难 涵 凋 所 有 的 功能 点 。 如 有 遗漏 或 
者 错误 ， 尽 请 大 家 能 够 及 时 批评 和 指正 ， 如 果 你 有 好 的 建议 或 者 想法 ， 
也 可 以 联系 我 。 我 的 联系 方式 如 下 。 











邮箱 : neu_lilinfeng@sina.com. 
新 浪 微 博 : Nettying。 
mia: Nettying。 
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第 1 章 Java 的 MO 演进 之 路 


第 2 章 NIO 入 门 


第 1 章 。 Java 的 IO 演进 之 路 


Java 是 由 Sun Microsystems 公 司 在 1995 年 首先 发 布 的 编程 语言 和 计算 
平台 。 这 项 基础 技术 文 持 最 新 的 程序 ， 包 括 实 用 程序 、 游 戏 和 业务 应 用 
程序 。Java 在 世界 各 地 的 8.5 亿 多 台 个 人 计算 机 和 数 十 亿 套 设备 上 运行 
着 ， 其 中 包括 移动 设备 和 电视 设备 。 





Java 之 所 以 能 够 得 到 如 此 广泛 的 应 用 ， 除 了 摆脱 硬件 平台 的 依赖 具 
有 “一 次 编写 、 到 处 运行 ?的 平台 无 关 性 特性 之 外 ， 夯 一 个 重要 原因 是 : 
其 丰富 而 强大 的 类 库 以 及 众多 第 三 方 开源 类 库 使 得 基于 Java 语 言 的 开 友 
更 加 简单 和 便捷 。 





但 是 ， 对 于 一 些 经 验 丰富 的 程序 员 来 说 ，Java 的 一 些 类 库 在 早期 设 
计 中 功能 并 不 完善 或 者 存在 一 些 缺 陷 ， 其 中 最 令 人 恼火 的 就 是 基于 同步 
IO 的 Socket 通 信 类 库 ， 直 到 2002 年 2 月 13 日 JDK1.4 ”Merlin 的 发 布 ，Java 
才 第 一 次 支持 非 阻塞 W/O， 这 个 类 库 的 提供 为 JDK 的 通信 模型 带 来 了 翻天 
履 地 的 变化 。 








在 开始 学 习 Netty 之 前 ， 我 们 首先 对 UNIX 系 统 常用 的 IO 模型 进行 介 
绍 ， 然 后 对 Java 的 IO 历史 演进 进行 简单 说 明 。 通 过 本 章节 的 学 习 ， 和 希望 
读者 对 同步 和 异步 JO 以 及 Java 的 IO 类 库 发 展 有 个 直观 的 了 解 ， 方 便 后 
续 章 节 的 学 习 。 如 果 你 已 经 熟练 NIO 编 程 或 者 从 事 过 UNIX 网 络 编程 ， 
希望 直接 学 习 Java 的 NIO 和 Netty， 那 就 可 以 直接 跳 到 第 2 章 进行 学 习 。 





本 章 主 要 内 容 包 括 : 


e IO 基础 入 门 


e Java 的 IO 演进 


1.1 LO 基础 入 门 


Javal.4 之 前 的 早期 版 本 ，Java 对 LO 的 支持 并 不 完善 ， 开 发 人 员 在 开 
友 高 性 能 WO 程序 的 时 候 ， 会 面临 一 些 巨 大 的 挑战 和 困难 ， 主 要 问题 如 
E 


。 没 有 数据 缓冲 区 ，IO 性 能 存在 问题 ; 

没有 C 或 者 C++ 中 的 Channel 概 念 ， 只 有 输入 和 输出 流 ; 
同步 阻塞 式 IO 通 信 《〈BIO) ， 通 常会 导致 通信 线程 被 长 时 间 阻 塞 ; 
。 文 持 的 字符 集 有 限 ， 硬 件 可 移植 性 不 好 。 





在 Java 文 持 异 步 JO 之 前 的 很 长 一 段 时 间 里 ， 高 性 能 服务 端 开 发 领域 
一 直 被 C++ 和 C 长 期 占据 ，Java 的 同步 阻塞 IO 被 大 家 所 诉 病 。 


1.1.1 Linux] 2X L/O 70 (ij 4 


Linux 的 内 核 将 所 有 外 部 设备 都 看 做 一 个 文件 来 操作 ， 对 一 个 文件 
的 读 写 操作 会 调用 内 核 提供 的 系统 命令 ， 返 回 一 个 file descriptor (fd, 
文件 描述 符 ) 。 而 对 一 个 socket 的 读 写 也 会 有 相应 的 描述 符 ， 称 为 
socketfd 〈socket 描 述 符 ) ， 描 述 符 束 是 一 个 数字 ， 它 指 同 内 核 中 的 一 个 
结构 体 〈 文 件 路 径 ， 数 据 区 等 一 些 属性 )。 


根据 UNIX 网 络 编程 对 MO 模型 的 分 类 ，UNIX 提 供 了 5 种 MO 模 型 ， 分 
别 如 下 。 


(1) 阻塞 IO 模型 : 最 常用 的 1/O 模 型 就 是 阻 禾 W/O 模型 ， 缺 省 情形 
下 ， 所 有 文件 操作 都 是 阻塞 的 。 我 们 以 套 接 字 接口 为 例 来 讲解 此 模型 : 
在 进程 空间 中 调用 recvfrom， 其 系统 调用 直到 数据 包 到 达 且 被 复制 到 应 





用 进程 的 缓冲 区 中 或 者 发 生 错误 时 才 返 回 ， 在 此 期 间 一 直 会 等 待 ， 进 程 
在 从 调用 recvfrom 开 始 到 它 返 回 的 整 段 时 间 内 都 是 被 阻 署 的， 因此 被 称 
为 阻塞 IO 模 型 ， 如 图 1-1 所 示 。 








图 1-1 阻塞 VO 模 型 


(2) 非 阻 塞 O 模 型 : recvfrom 从 应 用 层 到 内 核 的 时 候 ， 如 果 该 组 
冲 区 没有 数据 的 话 ， 就 直接 返回 一 个 EWOULDBLOCK 错 误 ， 一 般 都 对 
非 阻 塞 WO 模 型 进行 轮 询 检查 这 个 状态 ， 看 内 核 是 不 是 有 数据 到 来 。 如 
图 1-2 所 示 。 

















图 1-2” 非 阻塞 W/O 模 型 





(3) IO 复 用 模型 : Linux 提 供 select/poll， 进 程 通过 将 一 个 或 多 个 fd 
传递 给 select 或 pol] 系 统 调 有 用， 阻塞 在 select 操 作 上 ， 这 样 selectpoll 可 以 
帮 我 们 侦 测 多 个 fd 是 否 处 于 就 绪 状 态 。select/poll 是 顺序 扫描 fd 是 否 就 
绕 ， 而 且 支 持 的 fd 数量 有 限 ， 因 此 它 的 使 用 受到 了 一 些 制 约 。Linux 还 
提供 了 一 个 epoll 系 统 调 用 ，epoll 使 用 基于 事件 驱动 方式 代 蔡 顺序 扫描 ， 
因此 性 能 更 高 。 当 有 fd 就 绪 时 ， 立 即 回调 函数 rollback。 如 图 1-3 所 示 。 

















图 1-3 ”IO 复 用 模型 





(4) 信号 驱动 VO 模型 首先 开局 套 接口 信号 驱动 VO 功能 ， 并 通过 
..„ 言 号 处 理 函 数 〈 此 系统 调用 立即 返回 ， 进 程 
续 工 作 ， 它 是 非 阻塞 的 ) 。 当 数据 准备 就 绪 时 ， 就 为 该 进程 生成 一 个 
sos. 通过 信号 回调 通知 应 用 程序 调用 recvfrom 来 读 取 数 据 ， 并 
通知 主 循环 函数 处 理 数 据 。 如 图 1-4 所 示 。 





图 1-4 ”信号 驱动 VO 模型 


(5) 异步 WO: 告知 内 核 月 动 茶 个 操作 ， 并 让 内 核 在 整个 操作 完成 
后 (包括 将 数据 从 内 核 复 制 到 用 户 自 己 的 缓冲 区 〉 通知 我 们 。 这 种 模型 
与 信号 驱动 模型 的 主要 区 别 是 : 信号 驱动 VO 由 内 核 通知 我 们 何 时 可 以 
开始 一 个 VO 操 作 ;， 寞 步 /O 模 型 由 内 核 通 知 我 们 VO 操作 何 时 已 经 完成 。 
如 图 1-5 所 示 。 








图 1-5 ”异步 1/O 模 型 





如 果 想 要 了 解 更 多 的 UNIX 系 统 网 络 编程 知识 ， 可 以 阅读 《UNIX 网 
络 编程 》， 里 面 有 非常 详细 的 原理 和 API 介 绍 。 对 于 大 多 数 Java 程 序 员 
来 说 ， 不 需要 了 解 网 络 编程 的 底层 细节 ， 大 家 只 需要 有 个 概念 ， 知 道 对 
于 操作 系统 而 言 ， 底 层 是 支持 异步 JO 通 信 的 ， 只 不 过 在 很 长 一 段 时 间 
Java 并 没有 提供 异步 JO 通 信 的 类 库 ， 导 致 很 多 原生 的 Java 程 序 员 对 这 块 
儿 比 较 陌 生 。 当 你 了 解 了 网 络 编程 的 基础 知识 后 ， 理 解 Java 的 NIO 类 库 
就 会 更 加 容易 一 些 。 














下 一 个 小 结 我 们 重点 讲 下 1/O 多 路 复 用 技术 ， 因 为 Java NIO 的 核心 类 
库 多 路 复 用 器 Selector 就 是 基于 epoll 的 多 路 复 用 技术 实现 。 


1.1.2 LO 多 路 复 用 技术 


在 IO 编程 过 程 中 ， 当 需要 同时 处 理 多 个 客户 端 接 入 请 求 时 ， 可 以 
利用 多 线程 或 者 IO 多 路 复 用 技术 进行 处 理 。IO 多 路 复 用 技术 通过 把 多 
个 IO 的 阻塞 复 用 到 同一 个 select 的 阻塞 上 ， 从 而 使 得 系统 在 单线 程 的 情 
况 下 可 以 同时 处 理 多 个 客户 端 请 求 。 与 传统 的 多 线程 /多 进程 模型 比 ， 
IO 多 路 复 用 的 最 大 优势 是 系统 开销 小 ， 系 统 不 需要 创建 新 的 额外 进程 
或 者 线程 ， 也 不 需要 维护 这 些 进程 和 线程 的 运行 ， 降 低 了 系统 的 维护 工 
作 量 ， 节 省 了 系统 资源 ，IO 多 路 复 用 的 主要 应 用 场景 如 下 。 


。 服务 器 再 要 同时 处 理 多 个 处 于 监听 状态 或 者 多 个 连接 状态 的 套 接 
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目前 支持 IO 多 路 复 用 的 系统 调用 有 select、pselect、poll、epoll, 在 
Linux 网 络 编程 过 程 中 ， 很 长 一 段 时 间 都 使 用 select 做 轮 询 和 网 络 事件 通 
知 ， 然 而 select 的 一 些 固有 缺陷 导致 了 它 的 应 用 受到 了 很 大 的 限制 ， 最 
终 Linux 不 得 不 在 新 的 内 核 版 本 中 寻找 select 的 蔡 代 方案 ， 最 终 选 择 了 
epoll。epol 与 Select 的 原理 比较 类 似 ， 为 了 克服 select 的 缺点 ，epol 作 了 
很 多 重大 改进 ， 现 总 结 如 下 。 


1. 文 持 一 个 进程 打开 的 socket 揪 述 符 FD) PZR ZRF 
操作 系统 的 最 大 文件 句柄 数 ) 。 


select 最 大 的 缺陷 就 是 单个 进程 所 打开 的 FD 是 有 一 定 限制 的 ， 它 由 
FED_SETSIZE 设 置 ， 默 认 值 是 1024。 对 于 那些 需要 文 持 上 万 个 TCP 连 接 
的 大 型 服务 器 来 说 显然 太 少 了 。 可 以 选择 修改 这 个 宏 然后 重新 编译 内 
核 ， 不 过 这 会 带 来 网 络 效率 的 下 降 。 我 们 也 可 以 通过 选择 多 进程 的 方案 
RRR Apache R) 解决 这 个 问题 ， 不 过 虽然 在 Linux 上 创建 进程 的 
代价 比较 小 ， 但 仍旧 是 不 可 急 视 的 ， 男 外 ， 进 程 间 的 数据 交换 非常 且 
烦 ， 对 于 Java 由 于 没有 共享 内 存 ， 需 要 通过 Socket 通 信 或 者 其 他 方式 进 
行 数据 同步 ， 这 市 来 了 额外 的 性 能 损耗 ， 增 加 了 程序 复杂 上 度 ， 所 以 也 不 
是 一 种 完美 的 解决 方案 。 值 得 庆 科 的 是 ，epoll 并 没有 这 个 限制 ， 它 所 文 
持 的 FD 上 限 是 操作 系统 的 最 大 文件 句柄 数 ， 这 个 数字 远 远 大 于 1024。 
例如 ， 在 1GB 内 存 的 机 器 上 大 约 是 10 万 个 句柄 左右 ， 有 具体 的 值 可 以 通过 
cat /proc/sys/fs/file- max 罕 看， 通常 情况 下 这 个 值 跟 系 统 的 内 存 关 系 比 较 
po^ 














2. WO 效率 不 会 随 厦 FD 数目 的 增加 而 线性 下 降 。 


传统 的 select/pol 另 一 个 致命 弱点 就 是 当 你 拥有 一 个 很 大 的 socket 集 
合 ， 由 于 网 络 延 时 或 者 链 路 空闲， 任 一 时 刻 只 有 少 部 分 的 socket 是 * 活 
跃 ” 的 ， 但 是 selectpoll 每 次 调用 都 会 线性 扫描 全 部 的 集合 ， 导 致 效率 呈 
现 线性 下 降 。epoll 不 存在 这 个 问题 ， 它 只 会 对 “活跃 ”的 socket 进 行 操作 - 
这 是 因为 在 内 核实 现 中 epol 是 根据 每 个 da 上 面 的 callback 函 数 实现 的 ， 那 
么 ， 只 有 “活跃 ”的 socket 才 会 主动 的 去 调用 callback 函 数 ， 其 他 idle 状 态 
socket 则 不 会 。 在 这 点 上 ，epoll 实 现 了 一 个 伪 AIO。 针 对 epoll 和 select 性 
能 对 比 的 benchmark 测 试 表明 : 如果 所 有 的 socket 都 处 于 活跃 态 -例如 一 
个 高 速 LAN 环 境 ，epol 并 不 比 selecVypoll 效 率 高 太 多 ;: 相反 ， 如 果 过 多 使 
用 epoll_ctl， 效 率 相 比 还 有 稍微 的 下 降 。 但 是 一 旦 使 用 idle connections 模 
拟 WAN 环 境 ，epoll 的 效率 就 远 在 select/poll 之 上 了 。 


3. 使 用 mmap 加 速 内 核 与 用 户 空间 的 消息 传递 。 
无 论 是 select，poll 还 是 epoll 都 需要 内 核 把 FD 消 上 息 通知 给 用 户 空 间 ， 


E 
如 何 避 免 不 必 要 的 内 存 复 制 就 显得 非常 重要 ，epol 是 通过 内 核 和 用 户 衬 
间 mmap 同 一 块 内 存 实 现 。 





4. epoll 的 API 更 加 简单 。 
包括 创建 一 个 epoll 摘 述 符 、 添 加 监听 事件 、 阻 窜 等 待 所 监 昕 的 事件 
发 生 ， 关 闭 epoll 描 述 符 等 。 


值得 说 明 的 是 ， 用 来 克服 selecypoll 缺 点 的 方法 不 只 有 epoll，epoll 只 
是 一 种 Linux 的 实现 方案 。 在 freeBSD 下 有 kqueue， 而 dev/poll 是 最 古老 的 
Solaris 的 方案 ， 使 用 难度 依次 递增 。kqueue 是 freebsd 的 宠儿 ， 它 实际 上 





是 一 个 功能 相当 丰富 的 kernel 事 件 队 列 ， 它 不 仅仅 是 selectpoll 的 升级 ， 

而 且 可 以 处 理 signal、 目 录 结 构 变 化 、 进 程 等 多 种 事件 ，kqueue 是 边缘 
触发 的 。/dev/poll 是 Solaris 的 产物 ， 是 这 一 系列 高 性 能 API 中 最 早出 现 

的 。Kernel 提 供 一 个 特殊 的 设备 文件 /dev/poll， 应 用 程序 打开 这 个 文件 
得 到 操作 fd_set 的 句柄 ， 通 过 写 入 pollfd 来 修改 它 ， 一 个 特殊 的 ioct 调 用 
用 来 蔡 换 select， 不 过 由 于 出 现 的 年 代 比 较 早 ， 所 以 /dev/poll 的 接口 实现 
比较 原始 。 


到 这 里 ，IO 的 基础 知识 已 经 介绍 完毕 ， 从 1.2 章 节 开 始 介绍 Java 的 
IO 演进 历史 ， 从 BIO 到 NIO 是 Java 通 信 类 库 迈 出 的 一 小 步 ， 但 却 对 Java 
在 高 性 能 通信 和 领域 的 发 展 起 到 了 关键 性 的 推动 作用 。 随 着 基于 NIO 的 各 
类 NIO 框 架 的 发 展 ， 以 及 基于 NIO 的 Web 服 务 器 的 发 展 ，Java 在 很 多 领 
域 取 代 了 C 和 C++， 成 为 企业 服务 端 应 用 开发 的 首选 语言 。 





1.2 ”Java 的 IO 演进 


在 JDK 1.4 推 出 Java NIO 之 前 ， 基 于 Java 的 所 有 Socket 通 信 都 采用 了 
同步 阻塞 模式 〈BIO) ， 这 种 一 请 求 一 应 答 的 通信 模型 简化 了 上 层 的 应 
用 开发 ， 但 是 在 性 能 和 可 靠 性 方面 却 存在 痢 巨 大 的 瓶颈 。 因 此 ， 在 很 长 
一 段 时 间 里 ， 大 型 的 应 用 服务 器 都 采用 C 或 者 C++ 语言 开发 ， 因 为 它们 
可 以 直接 使 用 操作 系统 提供 的 异步 IO 或 者 AIO 能 力 。 当 并 发 访问 量 增 
大 、 响 应 时 间 延 迟 增 大 之 后 ， 采 用 Java BIO 开发 的 服务 端 软件 只 有 通过 
硬件 的 不 断 扩 容 来 满足 高 并 发 和 低 时 延 ， 它 极 大 地 增加 了 企业 的 成 本 ， 
并 且 随 着 集群 规模 的 不 断 脱 胀 ， 系 统 的 可 维护 性 也 面临 巨大 的 挑战 ， 只 
能 通过 采购 性 能 更 高 的 硬件 服务 器 来 解决 问题 ， 这 会 导致 恶性 循环 。 





正 是 由 于 Java 传 统 BIO 的 拙劣 表现 ， 才 使 得 Java 文 持 非 阻塞 VO 的 呼 
声 日 渐 高 涨 ， 最 终 ，JDK1.4 版 本 提供 了 新 的 NIO 类 库 ，Java 终 于 也 可 以 
支持 非 阻 塞 JO 了 . 


Java 的 LO 发 展 简 史 





从 JDK1.0 到 JDK1.3，Java 的 IO 类 库 都 非常 原始 ， 很 多 UNIX 网 络 编 
程 中 的 概念 或 者 接口 在 IO 类 库 中 都 没有 体现 ， 例 如 Pipe、Channel、 
Buffer 和 Selector 等 。2002 年 发 布 JDK1.4 时 ，NIO 以 JSR-51 的 身份 正式 随 
JDK 发 布 。 它 新 增 了 个 java.nio 包 ， 提 供 了 很 多 进行 异步 JO 开 发 的 API 和 
类 库 ， 主 要 的 类 和 接口 如 下 。 





。 进行 异步 IO 操作 的 缓冲 区 ByteBuffer 等 ; 
。 进行 异步 /1O 操 作 的 管道 Pipe; 
e 进行 各 种 W/O 操作 (异步 或 者 同步 ) 的 Channel， 包 括 


ServerSocketChannel 和 SocketChannel; 

多 种 字符 集 的 编码 能 力 和 解码 能 

实现 非 阻 塞 VO 操 作 的 多 路 复 用 器 selector; 
基于 流行 的 Perl 实 现 的 正则 表达 式 类 库 ; 
文件 通道 FileChannel。 


新 的 NIO 类 库 的 提供 ， 极 大 地 促进 了 基于 Java 的 开 步 非 阻 塞 编 程 的 
发 展 和 应 用 ， 但 是 ， 它 依然 有 不 完善 的 地 方 ， 特 别 是 对 文件 系统 的 处 理 
能 力 仍 显 不 足 ， 主 要 问题 如 下 。 


。 没有 统一 的 文件 属性 “例如 读 写 权限 ) ; 

e API 能 力 比 较 弱 ， 例 如 目录 的 级 联 创 建 和 递归 过 历 ， 往 往 需 要 目 己 
实现 ; 

© 底层 存储 系统 的 一 些 高 级 API 无 法 使 用 ， 

。 所 有 的 文件 操作 都 是 同步 阻塞 调用 ， 不 支持 异步 文件 读 写 操作 。 


2011 年 7 月 28 日 ，JDK1.7 正 式 发 布 。 它 的 一 个 比较 大 的 亮点 就 是 将 
原来 的 NIO 类 库 进 行 了 升级 ， 被 称 为 NIO2.0。NIO2.0 由 JSR-203 演 进而 
来 ， 它 主要 提供 了 如 下 三 个 方面 的 改进 。 





提供 能 够 批量 获取 文件 属性 的 API， 这 些 API 具 有 平台 无 关 性 ， 不 
与 特性 的 文件 系统 相 灯 合 ， 男 外 它 还 提供 了 标准 文件 系统 的 SPI， 
供 各 个 服务 提供 商 扩 展 实现 ; 

提供 AIO 功 能 ， 文 持 基于 文件 的 异步 VO 操作 和 针对 网 络 套 接 字 的 寞 
步 操 作 ; 

完成 JSR-51 定 义 的 通道 功能 ， 包 括 对 配置 和 多 播 数据 报 的 支持 等 。 


13 总 结 
通过 本 章 的 学 习 ， 我 们 了 解 了 UNIX 网 络 编程 的 5 种 VO 模 型 ， 学 习 

了 IO 多 路 复 用 技术 的 基础 知识 。 通 过 对 Java ”LO 演进 历史 的 总 结 和 介 
绍 ， 相 信 大 家 对 Java 的 IO 演进 有 了 一 个 更 加 直观 的 认识 。 后 面 的 第 2 章 
节 会 对 阻塞 O 和 非 阻 塞 VO 进 行 详细 讲解 ， 同 时 给 出 代码 示例 。 相 信和 学 
完 第 2 章 之 后 ， 大 家 就 能 够 对 传统 的 阻塞 O 的 弊端 和 非 阻 塞 VO 的 优点 有 
更 加 深刻 的 体会 。 好 ， 稍 微 休 息 片 刻 ， 我 们 继续 畅游 在 NIO 编 程 的 快乐 
海洋 中 ! 





第 2 章 NIO 入 门 


在 本 章 中 ， 我 们 会 分 别 对 JDK 的 BIO、NIO 和 JDK1.7 最 新 提供 的 
NIO2.0 的 使 用 进行 详细 说 明 ， 通 过 流程 图 和 代码 讲解 ， 让 大 家 体会 到 随 
着 Java IO 类 库 的 不 断 发 展 和 改进 ， 基 于 Java 的 网 络 编程 会 变 得 越 来 越 简 
单 ， 随 着 异步 IO 功能 的 增强 ， 基 于 Java NIO 开 发 的 网 络 服务 器 甚至 不 逊 
色 于 采用 C++ 开发 的 网 络 程序 。 


本 章 主 要 内 容 包 括 : 


e 传统 的 同步 阻塞 式 WO 编 程 

。 基 于 NIO 的 非 阻 塞 编程 

e 基于 NIO2.0 的 异步 非 阻塞 (CAIO) 编程 
。 为 什么 要 使 用 NIO 编 程 

。 为 什么 选择 Netty 


2.1 传统 的 BIO 编程 


人 也 就 是 两 个 进程 之 间 进 
行 相互 通信 ， 其 中 服务 端 提 供 位 置信 息 《〈 绑 定 的 耳 地 址 和 监听 端口 ) ， 
客户 端 通过 连接 操作 回 服 务 喘 监听 的 地 址 发 起 连接 请 求 ， 通 过 三 次 握手 
建立 连接 ， 如 果 连 接 建立 成 功 ， 双 方 焉 可 以 通过 网 络 套 接 字 (Socket) 
进行 通信 。 





在 基于 传统 同步 阻塞 模型 开发 中 ，ServerSocket 负 责 绑 定 卫 地 址 ， 
局 动 监 听 端 口 ，Socket 负 责 发 起 连接 操作 。 连 接 成 功 之 后 ， 双 方 通过 输 
入 和 输出 流 进行 同步 阻 寨 式 通信 。 


下 面 ， 我 们 就 以 经 典 的 时 间 服 务 器 〈TimeServer) 为 例 ， 通 过 代码 
分 析 来 回顾 和 熟悉 下 BIO 编程 。 


2.1.1 BIO 通信 模型 图 


自 先 ， 我 们 通过 图 2-1 所 示 的 通信 模型 图 来 熟悉 下 BIO 的 服务 端 通信 
模型 : 采用 BIO 通信 模型 的 服务 端 ， 通 第 由 一 个 独立 的 Acceptor 线 程 负 
责 监 听 客 户 问 的 连接 ， 它 接收 到 客户 端 连接 请 求 之 后 为 每 个 客户 端 创建 
一 个 新 的 线程 进行 链 路 处 理 ， 处 理 完 成 之 后 ， 通 过 输出 流 返 回应 答 给 客 
户 端 ， 线 程 销 毁 。 这 就 是 典型 的 一 请 求 一 应 答 通信 模型 。 

















图 2-1 同步 阻塞 IO 服务 端 通信 模型 〈 一 客户 端 一 线程 ) 














该 模型 最 大 的 问题 就 是 缺乏 弹性 伸缩 能 力 ， 当 客 己 端 并 发 访问 量 增 
加 后 ， 服 务 问 的 线程 个 数 和 客户 端 并 发 访问 数 呈 1: 1 的 正比 关系 ， 由 于 
线程 是 Java 虚 拟 机 非常 宝贵 的 系统 资源 ， 当 线程 数 膨胀 之 后 ， 系 统 的 性 





能 将 急剧 下 降 ， 随 着 并 发 访问 量 的 继续 增 大 ， 系 统 会 发 生 线程 堆栈 江 
出 、 创 建新 线程 失败 等 问题 ， 并 最 终 导 臻 进程 宕 机 或 者 僵 死 ， 不 能 对 外 
提供 服务 。 


下 面 的 两 个 小 节 ， 我 们 会 分 别 对 服务 端 和 客户 端 进行 源码 分 析 ， 寻 
找 同步 阻塞 W/O 的 次 端 。 


2.1.2 ]HZP IHE SX OG E HJ TimeServer75 55 7 T 
代码 清单 2-1 同步 阻塞 JO 的 TimeServer 


备注: 以 下 代码 行 号 均 对 应 源 代 码 中 实际 行 号 。) 





1. package com.phei.netty.bio; 
2. import java.io.IOException; 
3. import java.net.ServerSocket; 
4. import java.net.Socket; 

5, JEF 

6. * @author lilinfeng 

7. * @date 2014 年 2 月 14 日 

8. * @version 1.0 

9. tZ 

10. public class TimeServer { 
11. 

12. VA 

13. * @param args 

14. * @throws IOException 


r 
O1 


*/ 


16. 
17. 


35. 
36. 
37. 
38. 
39. 


public static void main(String[] args) throws IOExc 
int port = 8080; 


if (args != null && args.length > 0) { 


try { 
port = Integer.valueOf(args[0]); 


} catch (NumberFormatException e) { 


// 采用 默认 值 





} 

} 

ServerSocket server = null; 

try 4 
server = new ServerSocket(port); 
System.out.println("The time server is start in 
Socket socket - null; 
while (true) { 
socket - server.accept(); 
new Thread(new TimeServerHandler(socket)).start 
} 

} finally { 
if (server != null) { 


System.out.println("The time server close"); 


server.close(); 


40. server = null; 


41. ) 
42. ) 

43. } 

44. } 





TimeServer 根 据 传 入 的 参数 设置 监听 端口 ， 如 果 没 有 入 参 ， 使 用 默 
认 值 8080，29 行 通过 构造 函数 创建 ServerSocket， 如 果 端 口 合 法 且 没 有 
被 占用 ， 服 务 端 监听 成 功 。32 一 35 行 通过 一 个 无 限 循 环 来 监听 客户 端的 
连接 ， 如 果 没 有 客户 端 接 入 ， 则 主线 程 阻 塞 在 ServerSocket 的 accept 操 作 
上 。 局 动 TimeServer， 通 过 JvisualVM 打 印 线程 堆栈 ， 我 们 可 以 发 现 主 程 
序 确实 阻塞 在 accept 操 作 上 ， 如 图 2-2 所 示 。 








图 2-2 主 程 序 线程 堆栈 











当 有 新 的 客户 端 接 入 的 时 候 ， 执 行 代 码 34 行 ， 以 Socket 为 参数 构造 
TimeServerHandler 对 象 ，TimeServerHandler 是 一 个 Runnable， 使 用 它 为 
构造 函数 的 参数 创建 一 个 新 的 客户 端 线程 处 理 这 条 Socket 链 路 。 下 面 我 
们 继续 分 析 TimeServerHandler 的 代码 。 


代码 清单 2-2 ”同步 阻塞 IO 的 TimeServerHandler 





13% public class TimeServerHandler implements Runnable { 
14. 

15; private Socket socket; 

16. 


17. public TimeServerHandler (Socket socket) { 


18. 
19. 
20. 
21. 
22. 
23. 
24. 
25. 
26. 
27. 
28. 
29. 
30. 
31. 
32. 
33. 
34. 
35. 
36. 
37. 
38. 
39. 
40. 
41. 
42. 
43. 
44. 


this.socket = socket; 


} 


/* 
* (non-Javadoc) 
* 
* @see java.lang.Runnablezrun() 
*/ 
@Override 
public void run() { 
BufferedReader in = null; 
PrintWriter out = null; 
try { 
in = new BufferedReader(new InputStreamReader ( 
this.socket.getInputStream())); 
out = new PrintWriter(this.socket.getOutputStre 
String currentTime = null; 
String body = null; 
while (true) { 
body = in.readLine(); 
if (body == null) 
break; 
System.out.println("The time server receive ord 
currentTime = "QUERY TIME ORDER".equalsIgnoreCa 
System.currentTimeMillis()).toString() : "B 


out.println(currentTime); 


j 


45. 


46. } catch (Exception e) { 

AT. if (in != null) { 

48. try { 

49. in.close(); 

50. } catch (IOException e1) { 
51. e1.printStackTrace(); 
52. } 

53. } 

54. if (out != null) { 

55. out.close(); 

56. out = null; 

57. } 

58. if (this.socket != null) { 
59. try { 

60. this.socket.close(); 
61. } catch (IOException ei) { 
62. e1.printStackTrace(); 
63. } 

64. this.socket = null; 

65. } 

66. } 

67. } 

68. } 





37 行 通过 BufferedReader 读 取 一 行 ， 如 果 已 经 读 到 了 输入 流 的 尾 


部 ， 则 返回 值 为 null， 退 出 循环 。 如 果 读 到 了 非 空 值 ， 则 对 内 容 进 行 判 
Wr, GORA ON aI "QUERY TIME ORDER" 则 获取 当 
前 最 新 的 系统 时 间 ， 通 过 PrintWriter 的 printin 函 数 发 送 给 客户 端 ， 最 后 
退出 循环 。 代 码 47 一 64 行 释放 输入 流 、 输 出 流 、 和 Socket 套 接 字 句柄 资 
源 ， 最 后 线程 自动 销毁 并 被 虚拟 机 回收 。 


在 下 一 个 小 结 ， 我 们 将 介绍 同步 阻塞 IO 的 客户 端 代码 ， 然 后 分 别 
运行 服务 端 和 客户 端 ， 查 看 下 程序 的 运行 结果 。 





213 ”同步 阻塞 式 WO 创 建 的 TimeClient 源 码 分 析 


客户 端 通 过 Socket 创 建 ， 发 送 查 询 时 间 服 务 器 的 "QUERY TIME 
a a 的 啊 应 并 将 结果 打印 出 来 ， 随 后 关闭 连 


代码 清单 2-3 ”同步 阻塞 IO 的 TimeClient 





13. public class TimeClient { 


14. 

15. JIR 

16. * @param args 

17. A 

18. public static void main(String[] args) { 
19. int port = 8080; 

20. if (args != null && args.length > 0) { 
21. try { 

22. port = Integer.valueOf(args[0]); 


23. ) catch (NumberFormatException e) { 





// 采用 默认 值 


Socket socket = null; 
BufferedReader in = null; 
PrintWriter out = null; 
try { 
socket = new Socket("127.0.0.1", port); 
in = new BufferedReader (new InputStreamReader ( 
socket.getInputStream())); 
out = new PrintWriter(socket.getOutputStream(), 
out.println("QUERY TIME ORDER"); 
System.out.println("Send order 2 server succeed 
String resp - in.readLine(); 
System.out.println("Now is : " + resp); 
) catch (Exception e) ( 
// 不 需要 处 理 
} finally { 























if (out != null) { 
out.close(); 
out = null; 


} 


if (in != null) { 
try { 
in.close(); 


} catch (IOException e) { 


51. e.printStackTrace(); 





52. } 
53. in - null; 
54. } 
55. if (socket != null) { 
56. try { 
5T. socket.close(); 
58. } catch (IOException e) { 
59. e.printStackTrace(); 
60. } 
61. socket = null; 
62. } 
63. } 
64, } 
65. } 
第 35 行 客户 te 353 党 发 送 "QUERY TIME 


ORDER'"' 指 令 ， 然 后 通过 BufferedReader 的 readLine 读 取 啊 应 并 打印 。 
分 别 执行 服务 端 和 客户 端 ， 执 行 结 果 如 下 。 
服务 端 执 行 结果 如 图 2-3 所 示 。 








图 2-3 ”同步 阻塞 WO 时 间 服 务 器 服务 端 运 行 结 


客户 端 执行 结果 如 图 2-4 所 示 。 











图 2-4 同步 阻塞 IO 时 间 服 务 器 客户 端 运行 结果 





到 此 为 止 ， 同 步 阻塞 式 JO 开 发 的 时 间 服 务 器 程序 已 经 讲解 完毕 ， 

我 们 发 现 ，BIO 主 要 的 问题 在 于 每 当 有 一 个 新 的 客户 端 请 求 接 入 时 ， 服 
务 端 必须 创建 一 个 新 的 线程 处 理 新 接 入 的 客户 端 链 路 ， 一 个 线程 只 能 处 
理 一 个 客户 端 连接 。 在 高 性 能 服务 器 应 用 领域 ， 往 往 需要 面向 成 千 上 万 
个 客户 端的 并 发 连接 ， 这 种 模型 显然 无 法 满足 高 性 能 、 高 并 发 接 入 的 场 


Ed, 
IR o 


为 了 改进 一 线程 一 连接 模型 ， 后 来 义演 进出 了 一 种 通过 线程 池 或 者 
消息 队列 实现 1 个 或 者 多 个 线程 处 理 N 个 客户 端的 模型 ， 由 于 它 的 底层 
通信 机 制 依然 使 用 同步 阻 宗 TO， 所 以 被 称 为 “ 伪 异 步 ， 下 面 章节 我 们 
束 对 伪 腊 步 代码 进行 分 析 ， 看 看 伪 有 异步 是 否 能 够 满足 我 们 对 融 性 能 、 局 
并 发 接 入 的 诉求 。 


2.2 ” 伪 异 步 7O 编 程 


为 了 解决 同步 阻 竖 TO 面 临 的 一 个 链 路 需要 一 个 线程 处 理 的 问题 ， 
后 来 有 人 对 它 的 线程 模型 进行 了 优化 ， 后 端 通 过 一 个 线程 池 来 处 理 多 个 
客户 端的 请 求 接 入 ， 形 成 客户 端 个 数 M: 线程 池 最 大 线程 数 N 的 比例 关 
系 ， 其 中 M 可 以 远 远 大 于 N， 通 过 线程 池 可 以 灵活 的 调配 线程 资源 ， 设 
置 线程 的 最 大 值 ， 防 止 由 于 海量 并 发 接 入 导致 线程 耗 尽 。 











下 面 ， 我 们 结合 连接 模型 图 和 源码 ， 对 伪 异 步 JO 进 行 分 析 ， 看 它 
是 否 能 够 解决 同步 阻塞 IO 面 临 的 问题 。 


221 伪 异 步 VO 模 型 图 


采用 线程 池 和 任务 队列 可 以 实现 一 种 叫做 盆 异 步 的 VO 通信 框 染 ， 
它 的 模型 图 如 图 2-5 所 示 。 


图 2-5 ” 伪 异 步 WO 服 务 端 通信 模型 OM: N) 


当 有 新 的 客户 端 接 入 的 时 候 ， 将 客户 端的 Socket 封 装 成 一 个 
Task〔 该 任务 实现 java.lang.Runnable 接 口 ) 投递 到 后 端的 线程 池 中 进行 
处 理 ，JDK 的 线程 池 维 护 一 个 消息 队列 和 N 个 活跃 线程 对 消 县 队列 中 的 
任务 进行 处 理 。 由 于 线程 池 可 以 设置 消息 队列 的 大 小 和 最 大 线程 数 ， 
此 ， 它 的 资源 占用 是 可 控 的 ， 无 论 多 少 个 客户 端 并 发 访问 ， 都 不 会 导致 
资源 的 耗 尽 和 宕 机 。 





下 面 的 小 节 ， 我 们 依然 采用 时 间 服 务 器 程序 ， 将 其 改造 成 伪 异 步 
I/O 时 间 服 务 器 ， 然 后 通过 对 代码 进行 分 析 ， 找 出 其 棘 端 。 


2.2.2” 伪 异步 式 IO 创 建 的 TimeServer 源 人 码 分 析 


我 们 对 服务 并 代码 进行 一 些 改造 ， 代 码 如 下 。 


代码 清单 2-4 伪 异 步 /O 的 TimeServer 





13. 
14. 
15, 
16. 
17. 
18. 
19. 
20. 
21. 
22. 
23. 
24. 
25. 
26. 
27. 
28. 
29. 
30. 
31. 
32. 
33. 


public class TimeServer { 


/** 
* @param args 
* @throws IOException 
*/ 
public static void main(String[] args) throws IOExc 
int port = 8080; 
if (args != null && args.length > 0) { 
try { 
port = Integer.valueOf(args[0]); 
} catch (NumberFormatException e) { 
// 采用 默认 值 
} 





} 


ServerSocket server = null; 

try { 
server = new ServerSocket(port); 
System.out.println("The time server is start in 
Socket socket - null; 


TimeServerHandlerExecutePool singleExecutor - n 


34. 50, 10000);// 





创建 I/0 任 务 线程 池 
35 . while (true) { 
36. socket = server.accept(); 
37% singleExecutor.execute(new TimeServerHandler (so 
38. } 
39. } finally { 
40. if (server != null) { 
41. System.out.println("The time server close"); 
42. server.close(); 
43. server = null; 
44. } 
45. } 
46. } 
47. } 





伪 异 步 IJO 的 主 函 数 代码 发 生 了 变化 ， 我 们 首先 创建 一 个 时 间 服 务 
需 处 理 类 的 线程 池 ， 当 接收 到 新 的 客户 器 连接 的 时 候 ， 将 请 求 Socket 封 





装 成 一 个 Task， 然 后 调用 线程 池 的 execute 方 法 执行 ， 从 而 避免 了 每 个 请 
求 接 入 都 创建 一 个 新 的 线程 。 


代码 清单 2-5 Th 251/08 TimeServerHandlerExecutePool 





12, public class TimeServerHandlerExecutePool { 

13. 

14. private ExecutorService executor; 

15. 

16. public TimeServerHandlerExecutePool(int maxPoolSize 
17. executor = new ThreadPoolExecutor (Runtime.getRuntim 
18. .availableProcessors(), maxPoolSize, 120L, Time 
19. new ArrayBlockingQueue<java.lang.Runnable>(queu 
20. } 

21. public void execute(java.lang.Runnable task) { 

22. executor.execute(task); 

23. } 

24. } 





由 于 线程 池 和 消 轧 队列 都 是 有 界 的 ， 因 此 ， 无 论 客户 端 并 发 连接 数 
多 大 ， 它 都 不 会 导致 线程 个 数 过 于 脱 胀 或 者 内 存 淤 出 ， 相 比 于 传统 的 一 
连接 一 线程 模型 ， 是 一 种 改良 。 

由 于 客户 端 代 码 并 没有 改变 ， 因 此 ， 我 们 直接 运行 服务 端 和 客户 
端 ， 执 行 结果 如 下 。 


服务 端 运行 结果 如 图 2-6 所 示 。 








图 2-6” 伪 异步 IO 时 间 服 务 器 服务 端 运行 结果 





客户 端 运行 结果 如 图 2-7 所 示 。 








图 2-7 伪 异 步 1O 时 间 服 务 器 客户 端 运行 结果 








伪 异 步 /O 通 信和 框架 采用 了 线程 池 实 现 ， 因 此 避免 了 为 每 个 请 求 都 
创建 一 个 独立 线程 造成 的 线程 资源 耗 尽 问题 。 但 是 由 于 它 底 层 的 通信 依 
然 采 用 同步 阻 窄 模型， 因此 无 法 从 根本 上 解决 问题 。 下 个 小 市 我 们 对 伪 
FAVOR TAA, RAVE Min, Aaa NIOS e ARA. EJ 
决 这 个 问题 的 。 





2.2.3” 伪 异步 IO 次 端 分 析 


要 对 伪 开 步 JO 的 弊端 进行 深入 分 析 ， 首 先 我 们 看 两 个 Java 同 步 JO 
的 API 说 明 ， 随 后 我 们 结合 代码 进行 详细 分 析 。 


代码 清单 2-6 Java 输 入流 InputStream 





/** 
* Reads some number of bytes from the input stream and s 
* the buffer array <code>b</code>. The number of bytes a 
* returned as an integer. 

This method blocks until input data is 


* available, end of file is detected, or an exception is 


the 


* 


* 


* 


«p» If the length of <code>b</code> is zero, then no b 
<code>0</code> is returned; otherwise, there is an att 
least one byte. If no byte is available because the st 
end of the file, the value <code>-1</code> is returned 


least one byte is read and stored into <code>b</code>. 


<p> The first byte read is stored into element <code>b 
next one into <code>b[1]</code>, and so on. The number 
at most, equal to the length of <code>b</code>. Let <i 
number of bytes actually read; these bytes will be sto 
«code»b[0]«/code» through <code>b[</code><i>k</i><code 
leaving elements <code>b[</code><i>k</i><code>]</code> 


<code>b[b.length-1]</code> unaffected. 


@param 


the buffer into which the data is read. 


@return 


total number of bytes read into the buffer, or 


* 


<code>-1</code> if there is no more data b 


$ the stream has been reached. 


* @exception 


IOException If the first byte cannot be read for any reason 
* other than the end of the file, if the input stream ha 
* if some other I/O error occurs. 


* @exception 


NullPointerException if <code>b</code> is <code>null </code>. 
ay, 


public int 


read(byte 


b[]) throws 


IOException { 


return 


read(b, 0, b.length); 
} 





请 注意 加 粗 斜 体 字 部 分 的 API 说 明 ， 当 对 Socket 的 输入 流 进行 读 取 
操作 的 时 候 ， 它 会 一 直 阻 赛 下 去 ， 直 到 发 生 如 下 三 种 事件 。 
。 有 效 据 可 该 ; 


e 可 用 数据 已 经 读 取 完毕 ; 
e 发 生 衬 指针 或 者 MO 异 各。 





这 意味 着 当 对 方 发 送 请 求 或 者 应 答 消 息 比 较 缓 慢 、 或 者 网 络 传输 较 
慢 时 ， 读 取 输 入 流 一 方 的 通信 线程 将 被 长 时 间 阻 窒 ， 如 果 对 方 要 60s 才 
能 够 将 数据 发 送 完 成 ， 读 取 一 方 的 VO 线程 也 将 会 被 同步 阻塞 60s， 在 此 
期 间 ， 其 他 接 入 消 妃 只 能 在 消 妃 队列 中 排队 。 


下 面 我 们 接着 对 输出 流 进行 分 机 ， 还 是 看 JDK 1O 类 库 输 出 流 的 API 
文档 ， 然 后 结合 文档 说 明 进行 故障 分 析 。 


代码 清单 2-7 ”Java 输 入流 OutputStream 





public void write(byte b[]) throws IOException 

*Writes an array of bytes. This method will block until the b 
Parameters: 

b - the data to be written 


Throws: 


IOException 


If an I/O error has occurred. 


E 


当 调 用 OutputStream 的 write 方法 写 输 出 流 的 时 候 ， 它 将 会 被 阻塞 ， 
直到 所 有 要 发 送 的 字 节 全 部 写 入 完毕 ， 或 者 发 生 异 常 。 学 习 过 TCP/IP 相 
关 知 识 的 人 都 知道 ， 当 消息 的 接收 方 处 理 缓慢 的 时 候 ， 将 不 能 及 时 地 从 
TCP 绥 冲 区 读 取 数据 ， 这 将 会 导致 发 送 方 的 TCP window size 不 断 减 小 ， 
直到 为 0， 双 方 处 于 Keep-Alive 状 态 ， 消 恩 发 送 方 将 不 能 再 辣 TCP 绥 冲 区 
写 入 消息 ， 这 时 如 果 采 用 的 是 同步 阻塞 /JO，write 操 作 将 会 被 无 限期 阻 
塞 ， 直 到 TCP window size 大 于 0 或 者 发 生 I/O 异 常 。 


通过 对 输入 和 输出 流 的 API 文 档 进 行 分 析 ， 我 们 了 解 到 读 和 写 操 作 
都 是 同步 阻 暑 的 ， 阻 窟 的 时 间 取 决 于 对 方 VO 线 程 的 处 理 速 度 和 网 络 1/O 
的 传输 速度 。 本 质 上 来 讲 ， 我 们 无 法 保证 生产 环境 的 网 络 状况 和 对 端的 
应 用 程序 能 足够 快 ， 如 果 我 们 的 应 用 程序 依赖 对 方 的 处 理 速度 ， 它 的 可 
靠 性 就 非常 短 。 也 许 在 实验 室 进行 的 性 能 测试 结束 令 人 满意 ， 但 是 一 旦 
上 线 运行 ， 面 对 恶劣 的 网 络 环境 和 展 劳 不 齐 的 第 三 方 系统 ， 问 题 就 会 如 
火山 一 样 喷发 。 














伪 异 步 JO 实 际 上 仅仅 只 是 对 之 前 MO 线程 模型 的 一 个 简单 优化 ， 它 
无 法 从 根本 上 解决 同步 JO 导 致 的 通信 线程 阻塞 问题 。 下 面 我 们 就 简单 
分 析 下 如 果 通 信 对 方 返回 应 答 时 间 过 长 ， 会 引起 的 级 联 故 障 。 


OD 服务 端 处 理 缓慢 ， 返 回应 答 消 息 耗 费 60s， 平 时 只 需要 10ms。 


(2) 采用 伪 异 步 JO 的 线程 正在 读 取 故障 服务 节点 的 啊 应 ， 由 于 读 
取 输 入 流 是 阻 竖 的 ， 因 此 ， 它 将 会 被 同步 阻 赛 60s。 


(3) 假如 所 有 的 可 用 线程 都 被 故障 服务 器 阻塞 ， 那 后 续 所 有 的 IO 
消息 都 将 在 队列 中 排队 。 


(4) 由 于 线程 池 采 用 阻塞 队列 实现 ， 当 队列 积 满 之 后 ， 后 续 入 队 


列 的 操作 将 被 阻塞 。 


(50 由 于 前 痢 只 有 一 个 Accptor 线 程 接 收 客户 端 接 入 ， 它 被 阻 时 在 
线程 池 的 同步 阻 窟 队列 之 后 ， 新 的 客户 并 请 求 消息 将 被 拒绝 ， 客 户 站 会 
发 生 大 量 的 连接 超时 。 

(6) 由 于 几乎 所 有 的 连接 都 超时 ， 调 用 者 会 认为 系统 已 经 骨 溃 ， 
无 法 接收 新 的 请 求 消息 。 


如 何 破解 这 个 难题 ? 下 市 的 NIO 将 给 出 答案 。 


23 NIO 编 程 


在 介绍 NIO 编 程 之 前 ， 我 们 首先 需要 澄清 一 个 概念 : NIO 到 底 是 什 
么 的 简称 ? 有 人 称 之 为 New “IO， 因 为 它 相 对 于 之 前 的 MO 类 库 是 新 增 
的 ， 所 以 被 称 为 New LIUO， 这 是 它 的 官方 叫 法 。 但 是 ， 由 于 之 前 老 的 IO 
ASPEZÉDHSELO, New LO 类 库 的 目标 就 是 要 让 Java 文 持 非 阻 塞 WO， 所 
以 ， 更 多 的 人 喜欢 称 之 为 非 阻塞 /O (Non-block VO) ， 由 于 非 阻塞 1/O 
更 能 够 体现 NIO 的 特点 ， 所 以 本 书 使 用 的 NIO 都 指 的 是 非 阻 寨 /O。 








与 Socket 类 和 ServerSocket 类 相对 应 ，NIO 也 提供 了 SocketChannel 和 
ServerSocketChannel 两 种 不 同 的 套 接 字 通 道 实 现 。 这 两 种 新 增 的 通道 都 
文 持 阻塞 和 非 阻 堵 两 种 模式 。 阻 塞 模式 使 用 非常 简单 ， 但 是 性 能 和 可 靠 
性 都 不 好 ， 非 阻塞 模式 则 正好 相反 。 开 发 人 员 一 般 可 以 根据 自己 的 需要 
来 选择 合适 的 模式 ， 一 般 来 说 ， 低 负载 、 低 并 发 的 应 用 程序 可 以 选择 同 
步 阻 塞 O 以 降低 编程 复杂 度 ， 但 是 对 于 高 负载 、 高 并 发 的 网 络 应 用 ， 
需要 使 用 NIO 的 非 阻 塞 模式 进行 开发 。 

















下 面 的 小 节 首 先 介绍 NIO 编 程 中 的 一 些 基 本 概念 ， 然 后 通过 NIO 服 
务 端 的 序列 图 和 源码 讲解 ， 让 大 家 快速 地 熟悉 NIO 编 程 的 关键 步骤 和 
API 的 使 用 。 如 果 你 已 经 熟悉 了 NIO 编 程 ， 可 以 跳 过 2.3 节 直接 学 习 后 面 
的 章节 。 





2.3.1 NIO 类 库 简 介 





新 的 输入 /输出 (NIO) 库 是 在 JDK 1.4 中 引入 的 。NIO 弥 补 了 原来 同 
步 阻 团 IO 的 不 足 ， 它 在 标准 Java 代 码 中 提供 了 高 速 的 、 面 癌 块 的 MO 。 
通过 定义 包含 数据 的 类 ， 以 及 通过 以 块 的 形式 处 理 这 些 数据 ，NIO 不 用 


使 用 本 机 代码 就 可 以 利用 低级 优化 ， 这 十 原来 的 MO 包 所 无 法 做 到 的 。 
下 面 我 们 对 NIO 的 一 些 概念 和 功能 做 下 简单 介绍 ， 以 便 大 家 能 够 快速 地 
了 解 NIO 类 库 和 相关 概念 。 


1. 27+ X Buffer 


BU Fe sp ASX (Buffer) 的 概念 ，Buffer 是 一 个 对 象 ， 它 包 
含 一 些 要 写 入 或 者 要 读 出 的 数据 。 在 NIO 类 库 中 加 入 Buffer 对 象 ， 体 现 
了 新 库 与 原 VO 的 一 个 重要 区 别 。 在 面 同 流 的 VO 中 ， 可 以 将 数据 直接 写 
入 或 者 将 数据 直接 读 到 Stream 对 象 中 。 


在 NIO 库 中 ， 所 有 数据 都 是 用 缓冲 区 处 理 的 。 在 读 取 数据 时 ， 它 是 
直接 读 到 缓冲 区 中 的 ， 在 写 入 数据 时 ， 写 入 到 缓冲 区 中 。 任 何 时 候 访问 
NIO 中 的 数据 ， 都 是 通过 缓冲 区 进行 操作 。 


缓冲 区 实质 上 是 一 个 数组 。 通 常 它 是 一 个 字 节 数组 
(ByteBuffer) ， 也 可 以 使 用 其 他 种 类 的 数组 。 但 是 一 个 缓冲 区 不 仅仅 
征 一 个 数组 ， 绥 冲 区 提供 了 对 数据 的 结构 化 访问 以 及 维护 读 写 位 置 


(limit) 等 信息 。 


Egi HRI DX Xe ByteBuffer, — T ByteBufferze t f —2H UIBE HIT 
操作 byte 数 组 。 除 了 ByteBuffer， 还 有 其 他 的 一 些 缓冲 区 ， 事 实 上 ， 


一 种 Java 基 本 类 型 (除了 Boolean 类 型 ) 都 对 应 有 一 种 缓冲 区 ， 具 体 如 
Ba 


e ByteBuffer: 字 市 绥 冲 区 
e CharBuffer: 字符 缓冲 区 
e ShortBuffer: 短 整 型 缓冲 区 


e IntBuffer: 整形 缓冲 区 

e LongBuffer: 长 整形 绥 冲 区 

e FloatBuffer: 浮 点 型 缓冲 区 

e DoubleBuffer: 双 精 度 浮 点 型 缓冲 区 


绥 冲 区 的 类 图 继承 关系 如 网 2-8 所 示 。 
图 2-8 _ Buffer 继承 关系 图 


每 一 个 Buffer 类 都 是 Buffer 接 口 的 一 个 子 实 例 。 除 了 ByteBuffer， 
一 个 ” Buffer 类 都 有 完全 一 样 的 操作 ， 只 是 它们 所 处 理 的 数据 类 型 不 一 
样 。 因 为 大 多 数 标准 IO 操作 都 使 用 ByteBuffer， 所 以 它 除 了 有 具有 一 般 绥 
冲 区 的 操作 之 外 还 提供 一 些 特有 的 操作 ， 方 便 网 络 读 写 。 


2. 通道 Channel 





Channel 是 一 个 通道 ， 可 以 通过 它 读 取 和 写 入 数据 ， 它 就 像 自 来 水 
管 一 样 ， 网 络 数据 通过 Channel 谈 取 和 写 入 。 通 道 与 流 的 不 同 之 处 在 于 
通道 是 双 辐 的 ， 流 只 是 在 一 个 方向 上 移动 〈 一 个 流 必须 是 InputStream 或 
2 OutputStreamI FR) ， 而 且 通 道 可 以 用 于 读 、 写 或 者 同时 用 于 读 


Fr 


写 。 


为 Channel 是 全 双 工 的 ， 所 以 它 可 以 比 流 更 好 地 了 映 冉 底 层 操 作 系 
统 的 API。 特 别 是 在 UNIX 网 络 编程 模型 中 ， 底 层 操 作 系 统 的 通道 都 是 全 
双 工 的 ， 同 时 文 持 读 写 操作 。 


Channel 的 类 图 继承 关系 如 图 2-9 所 示 。 


图 2-9 Channel 继 承 关 系 类 图 


自 顶 向 下 看 ， 前 三 层 主要 是 Channel 接 口 ， 用 于 定义 它 的 功能 ， 后 
面 是 一 些 具 体 的 功能 类 (抽象 类 ) ， 从 类 图 可 以 看 出 ， 实 际 上 Channel 
可 以 分 为 两 大 类 : 分 别 是 用 于 网 络 读 写 的 SelectableChannel 和 用 于 文件 
操作 的 FileChannel。 


本 书 涉 及 的 ServerSocketChannel 和 SocketChannel 都 是 
SelectableChannel 的 子 类 ， 关 于 它们 的 具体 用 法 将 在 后 续 的 代码 中 体 
现 。 


3. 多 路 复 用 器 Selector 


在 本 节 中 ， 我 们 将 探索 多 路 复 用 器 Selector， 它 是 Java NIO 编 程 的 基 
础 ， 熟 练 地 掌握 Selector 对 于 掌握 NIO 编 程 至 关 重 要 。 多 路 复 用 器 提供 选 
择 已 经 就 绪 的 任务 的 能 力 。 简 单 来 讲 ，Selector 会 不 断 地 轮 询 注册 在 其 
上 的 Channel， 如 果菜 个 Channel 上 面 有 新 的 TCP 连 接 接 入 、 读 和 写 事 
件 ， 这 个 Channel 就 处 于 就 绪 状 态 ， 会 被 Selector 轮 询 出 来 ， 然 后 通过 
SelectionKey 可 以 获取 就 绪 Channel 的 集合 ， 进 行 后 续 的 IO 操作 。 





一 个 多 路 复 用 器 Selector 可 以 同时 轮 询 多 个 Channel， 由 于 JDK 使 用 
了 epol0 代 蔡 传 统 的 select 实 现 ， 所 以 它 并 没有 最 大 连接 句柄 1024/2048 
的 限制 。 这 也 就 意味 着 只 需要 一 个 线程 负责 Selector 的 轮 询 ， 就 可 以 接 
入 成 干 上 万 的 客户 端 ， 这 确实 是 个 非常 巨大 的 进步 。 

















下 和 面 ， 我 们 通过 NIO 编 程 的 序列 图 和 源码 分 析 来 熟悉 相关 的 概念 ， 
以 便 巩 固 我 们 前 面 所 学 的 NIO 基 础 知识 。 


2.3.2 ”NIO 服 务 端 序列 图 


NIO 服 务 端 通信 序列 图 如 图 2-10 所 示 。 








图 2-10 NIO 服 务 端 通信 序列 图 








下 面 ， 我 们 对 NIO 服 务 端 的 主要 创建 过 程 进 行 讲解 和 说 明 ， 作 为 
NIO 的 基础 入 门 ， 我 们 将 忽略 掉 一 些 在 生产 环境 中 部 署 所 需要 的 一 些 特 
性 和 功能 。 





步骤 一 :打开 ServerSocketChannel， 用 于 监听 客户 端的 连接 ， 它 是 
所 有 客户 端 连 接 的 父 管 道 ， 代 码 示 例如 下 。 





ServerSocketChannel acceptorSvr = ServerSocketChannel.open(); 





步骤 二 : 绑 定 监听 端口 ， 设 置 连接 为 非 阻塞 模式 ， 示 例 代 码 如 下 。 





acceptorSvr.socket().bind(new InetSocketAddress(InetAddress.g 


acceptorSvr.configureBlocking(false); 





步骤 三 : 创建 Reactor 线 程 ， 创 建 多 路 复 用 器 并 启动 线程 ， 代 码 如 
"Fs 





Selector selector - Selector.open(); 


New Thread(new ReactorTask()).start(); 





步骤 四 : 将 ServerSocketChannel 注 册 到 Reactor 线 程 的 多 路 复 用 器 
Selector 上， 监听 ACCEPT 事 件 ， 代 人 码 如 下 。 





SelectionKey key = acceptorSvr.register( selector, SelectionK 





步 又 五 :多 路 复 用 器 在 线程 ran 方法 的 无 限 循环 体内 轮 询 准备 就 绪 
的 Key， 代 码 如 下 。 





int num = selector.select(); 
Set selectedKeys = selector.selectedKeys(); 
Iterator it = selectedKeys.iterator(); 
while (it.hasNext()) { 
SelectionKey key = (SelectionKey)it.next(); 
// ... deal with I/O event ... 





步骤 六 : 多 路 复 用 器 监听 到 有 新 的 客户 端 接 入 ， 处 理 新 的 接 入 请 
cee a, See quu dE. 





SocketChannel channel = svrChannel.accept(); 





FRE: WEA mE ANIERE, AN BITES OF o 





channel.configureBlocking(false); 


channel.socket().setReuseAddress(true); 
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ken 用 来 读 取 客 户 端 发 送 的 网 络 消 息 ， 代 码 如 下 。 





SelectionKey key = socketChannel.register( selector, Selectio 





步骤 九 : 异步 读 取 客 户 问 请 求 消息 到 缓冲 区 ， 示 例 代 码 如 下 。 





int readNumber = channel.read(receivedBuffer); 








步骤 十 : 对 ByteBuffer 进 行 编 解 码 ， 如 果 有 半 包 消息 指针 reset， 继 
续 读 取 后 续 的 报 文 ， 将 解码 成 功 的 消息 封装 成 Task， 投 递 到 业务 线程 池 
中 ， 进 行业 务 逻 辑 编 排 ， 示例 代 码 如 下 。 








Object message = null; 
while(buffer.hasRemain()) 
{ 
byteBuffer.mark(); 
Object message = decode(byteBuffer ) ; 
if (message == null) 
{ 
byteBuffer.reset(); 
break; 
} 
messageList.add(message ); 
j 
if (!byteBuffer.hasRemain()) 
byteBuffer.clear(); 


else 


byteBuffer.compact(); 
if (messageList != null & !messageList.isEmpty()) 
{ 
for(Object messageE : messageList ) 


handlerTask(messageE) ; 





步骤 十 一 : 将 POJO 对 象 encode 成 ByteBuffer， 调 用 SocketChannel 的 
异步 write 接口 ， 将 消息 异步 用 送 给 客户 端 ， 示 例 代 人 码 如 下 。 





socketChannel.write(buffer ) ， 





VER: 如果 发 送 区 TCP 缓 冲 区 满 ， 会 导致 写 半 包 ， 此 时 ， 需 要 注册 
监听 写 操作 位 ， 循 环 写 ， 直 到 整 包 消息 写 入 TCP 缓 冲 区 ， 此 处 不 鳌 述 ， 
后 续 Netty 源 码 分 析 章 节 会 详细 分 析 Netty 的 处 理 策略 。 








当 我 们 了 解 创建 NIO 服 务 闪 的 基本 步骤 之 后 ， 下 面 我 们 将 前 面 的 时 
间 服 务 器 程序 通过 NIO 重 写 一 裔 ， 让 大 家 能 够 学 习 到 完整 版 的 NIO 服 务 
mel. 


2.3.3 NIO 创 建 的 TimeServer 源 码 分 析 


我 们 将 在 TimeServer 例 程 中 给 出 完整 的 NIO 创 建 的 时 间 服 务 器 源 
fi, 


代码 清单 2-8 NIORT [RI HR 25-28 TimeServer 





9. public class TimeServer ( 





10. 

11. Fa 

12. * @param args 

13. * @throws IOException 

14. */ 

15. public static void main(String[] args) throws IOExc 
16. int port = 8080; 

17. if (args != null && args.length > 0) { 

18. try { 

19. port = Integer.valueOf(args[0]); 

20. } catch (NumberFormatException e) { 

21. // 采用 默认 值 

22. } 

23. } 

24. MultiplexerTimeServer timeServer = new MultiplexerT 
25% New Thread(timeServer, "NIO-MultiplexerTimeServer -0 
26. } 

27. } 





我 们 对 NIO 创 建 的 TimeServer 进 行 简 单 分 析 下 ，16 一 23 行 跟 之 前 的 
一 样 ， 设 置 监听 端口 。24 一 25 行 创建 了 一 个 被 称 为 
MultiplexerTimeServer 的 多 路 复 用 类 ， 它 是 个 一 个 独立 的 线程 ， 负 责 轮 
询 多 路 复 用 器 Selctor， 可 以 处 理 多 个 客户 端的 并 发 接 入 。 现 在 我 们 继续 
看 MultiplexerTimeServer 的 源码 。 





代码 清单 2-8 NIO 时 间 服 务 器 MultiplexerTimeServer 


A 





17. public class MultiplexerTimeServer implements Runnable 
18. 

19. private Selector selector; 

20. 

21. private ServerSocketChannel servChannel; 

22. 

23. private volatile boolean stop; 

24. 

25. [EF 

26. * 初始 化 多 路 复 用 器 、 绑 定 监听 端口 

27. i: 

28. * @param port 

29. */ 

30. public MultiplexerTimeServer(int port) { 

31. try { 

32. selector = Selector.open(); 

33. servChannel = ServerSocketChannel.open(); 

34. servChannel.configureBlocking(false); 

35. servChannel.socket().bind(new InetSocketAddress 
36. servChannel.register(selector, SelectionKey.OP_ 
37. System.out.println("The time server is start in 
38. } catch (IOException e) { 

39. e.printStackTrace(); 

40. System.exit(1); 

41. } 


42. } 


43. 
44. 
45. 
46. 
47. 
48. 
49. 
50. 
51. 
52. 
53. 
54. 
55, 
56. 
57. 
58. 
59. 
60. 
61. 
62. 
63. 
64. 
65. 
66. 
67. 
68. 
69. 


public void stop() { 


this.stop - true; 


j 


/* 
* (non-Javadoc) 
* @see java.lang.Runnablezrun() 
+7. 
@Override 
public void run() { 
while (!stop) { 
try { 
selector.select(1000); 
Set<SelectionKey> selectedKeys = selector.selec 
Iterator<SelectionKey> it = selectedKeys.iterat 
SelectionKey key - null; 
while (it.hasNext()) { 
key = it.next(); 
it.remove(); 
try { 
handleInput(key); 
) catch (Exception e) ( 
if (key != null) { 
key.cancel(); 


if (key.channel() !- null) 


70. 
71. 
72. 
13, 
74. 
75. 
76. 
Lf. 
78. 
79. 
80. 
81. 
82. 
83. 
84. 
85. 
86. 
87. 
88. 
89. 
90. 
91. 
92. 
93. 
94. 
95. 
96. 


key.channel().close(); 


4 
} catch (Throwable t) { 


t.printStackTrace(); 
} 


// 多 路 复 用 器 关闭 后 ， 所 有 注册 在 上 面 的 Channe1 和 Pipe 等 资源 都 : 
if (selector != null) 


try { 


selector.close(); 





} catch (IOException e) { 


e.printStackTrace(); 


} 


private void handleInput(SelectionKey key) throws I 


if (key.isValid()) { 
// 处 理 新 接 入 的 请 求 消息 
if (key.isAcceptable()) { 























// Accept the new connection 
ServerSocketChannel ssc = (ServerSocketChannel) 
SocketChannel sc = ssc.accept(); 


sc.configureBlocking(false); 


97. 
98. 
99. 


100. 
101. 
102. 
103. 
104. 
105. 
106. 
107. 
108. 
109. 
110. 
111. 
112. 
113. 
114. 
115. 
116. 
117. 
118. 
119. 
120. 
121. 
122. 
123. 


// Add the new connection to the selector 


sc.register(selector, SelectionKey.OP READ); 


j 


if (key.isReadable()) ( 

// Read the data 

SocketChannel sc - (SocketChannel) key.channe 
ByteBuffer readBuffer - ByteBuffer.allocate(1 
int readBytes - sc.read(readBuffer); 

if (readBytes » 0) ( 

readBuffer.flip(); 

byte[] bytes - new byte[readBuffer.remain 

readBuffer.get(bytes); 

String body - new String(bytes, "UTF-8"); 

System.out.println("The time server recei 
* body); 

String currentTime - "QUERY TIME ORDER" 
.equalsIgnoreCase(body) ? new java.ut 
System.currentTimeMillis()).toString( 

"BAD ORDER"; 
dowrite(sc, currentTime); 
) else if (readBytes < 0) { 

// 对 端 链 路 关闭 

key.cancel(); 

sc.close(); 

} else 


; // 读 到 0 字 节 ， 忽 略 


125. } 

126. 

127. private void doWrite(SocketChannel channel, Strin 
128. throws IOException ( 

129. if (response !- null && response.trim().length() 
130. byte[] bytes = response.getBytes(); 

131. ByteBuffer writeBuffer - ByteBuffer.allocate( 
132. writeBuffer.put(bytes); 

133: writeBuffer.flip(); 

134. channel.write(writeBuffer); 

135. } 

136. } 

137, } 





由 于 这 个 类 相 比 于 传统 的 Socket 编 程 会 稍微 复杂 一 些 ， 在 此 展开 进 
行 详细 分 机， 我们 从 如 下 几 个 关键 步骤 来 讲解 多 路 复 用 处 理 类 。 








(1) 30 一 42 行 为 构造 方法 ， 在 构造 方法 中 进行 资源 初始 化 ， 创 建 
多 路 复 用 器 Selector、ServerSocketChannel， 对 Channel 和 TCP 参 数 进 行 配 
置 。 例 如 ， 将 ServerSocketChannel 设 置 为 异步 非 阻 塞 模式 ， 它 的 backlog 
设置 为 1024。 系 统 资源 初始 化 成 功 后 ， 将 ServerSocket ”Channel 注 册 到 
Selector， 监 听 SelectionKey.OP_ACCEPT 操 作 位 ; 如果 资 源 初始 化 失败 
《例如 端口 被 占用 ) ， 则 退出 。 


(2) 55 一 77 行 在 线程 的 run 方 法 的 while 循 环 体 中 循环 遍历 selector， 
它 的 休眠 时 间 为 1s， 无 论 是 否 有 读 写 等 事件 发 生 ，selector 每 隔 1s 都 被 唤 














醒 一 次 ，selector 也 提供 了 一 个 无 参 的 select 方 法 。 当 有 处 于 就 绪 状 态 的 
Channel 时 ，selector 将 返回 就 绪 状 态 的 Channel 的 SelectionKey 和 集合 ， 通 过 
对 束 绪 状态 的 Channel 集 合 进 行 兴 代 ， 可 以 进行 网 络 的 异步 读 写 操作 。 








(3) 92 一 99 行 处 理 新 接 入 的 客户 端 请 求 请 轧 ， 根 据 SelectionKey 的 
操作 位 进行 判断 即 可 获知 网 络 事件 的 类 型 ， 通 过 ServerSocketChannel 的 
accept 接 收 客 户 端的 连接 请 求 并 创建 SocketChannel 实 例 ， 完 成 上 述 操 作 
后 ， 相 当 于 完成 了 TCP 的 三 次 握手 ，TCP 物 理 链 路 正式 建立 。 注 意 ， 我 
们 需要 将 新 创建 的 SocketChannel 设 置 为 异步 非 阻 塞 ， 同 时 也 可 以 对 其 
TCP 参 数 进 行 设 置 ， 例 如 TCP 接 收 和 发 送 缓冲 区 的 大 小 等 ， 作 为 入 门 的 
例子 ， 例 程 没 有 进行 额外 的 参数 设置 。 








(4) 100 一 125 行 用 于 读 取 客 户 端的 请 求 消 息 ， 首 先 创 建 一 个 
ByteBuffer， 由 于 我 们 事先 无 法 得 知客 户 端 发 送 的 码 流 大 小 ， 作 为 例 
程 ， 我 们 开辟 一 个 1M 的 绥 冲 区 。 然 后 调用 SocketChannel 的 read 方 法 读 取 
请 求 码 流 。 注 意 ， 由 于 我 们 已 经 将 SocketChannel 设 置 为 异步 非 阻 塞 模 
式 ， 因 此 它 的 read 是 非 阻塞 的 。 使 用 返回 值 进 行 判 晰 ， 看 读 取 到 的 字 节 
数 ， 返 回 值 有 以 下 三 种 可 能 的 结果 。 








。 返回 值 大 于 0: 该 到 了 字 节 ， 对 字 节 进行 编 解码 ; 
。 返回 值 等 于 0: 没有 读 取 到 字 节 ， 属 于 正常 场景 ， 忽 略 ; 
。 返回 值 为 -1: 链 路 已 经 关闭， 需要 关闭 SocketChannel， 释 放 资 源 。 











当 读 取 到 码 流 以 后 ， 我 们 进行 解码 ， 首 先 对 readBuffer 进 行 flip 操 
作 ， 它 的 作用 是 将 缓冲 区 当前 的 limit 设 置 为 position，position 设 置 为 0， 
用 于 后 续 对 绥 冲 区 的 读 取 操作 。 然 后 根据 绥 冲 区 可 读 的 字 市 个 数 创 建 字 
节 数 组 ， 调 用 ByteBuffer 的 get 操 作 将 绥 冲 区 可 读 的 字 节 数组 复制 到 新 创 
建 的 字 节 数组 中 ， 最 后 调用 字符 串 的 构造 函数 创建 请 求 消息 体 并 打印 。 





如 果 请 求 指令 是 "QUERY TIME ORDER" 则 把 服务 器 的 当前 时 间 编 码 后 
返回 给 客户 端 ， 下 面 我 们 看 看 异步 发 送 应 答 消 息 给 客户 端的 情况 。 








(5) 127 一 135 行 将 应 答 消息 异步 发 送 给 客户 闫 。 我 们 看 下 关键 代 
码 ， 首 先 将 字符 串 编码 成 字 节 数组 ， 根 据 字数 组 的 容量 创建 
ByteBuffer， 调 用 ByteBuffer 的 put 操 作 将 字 节 数组 复制 到 缓冲 区 中 ， 然 
后 对 缓冲 区 进行 flip 操 作 ， 最 后 调用 SocketChannel 的 write 方 法 将 缓冲 区 
中 的 字 节 数组 发 送出 去 。 需 要 指出 的 是 ， 由 于 SocketChannel 是 异步 非 阻 
考 的 ， 它 并 不 保证 一 次 能 够 把 需要 发 送 的 字 节 数组 发 送 完 ， 此 时 会 出 
现 “ 写 半 包 ”问题 ， 我 们 需要 注册 写 操作 ， 不 断 轮 询 Selector 将 没有 发 送 完 
的 ByteBuffer 发 送 完毕 ， 可 以 通过 ByteBuffer 的 hasRemain0 方 法 判断 消息 
是 否 友 送 完成 。 此 处 仅仅 是 个 简单 的 入 门 级 例 程 ， 没 有 演示 如 何 处 
理 “ 写 半 包 ”场景 ， 后 续 的 章节 会 有 详细 说 明 。 


使 用 NIO 创 建 TimeServer 服 务 器 完成 之 后 ， 我 们 继续 学 习 如 何 创 建 
NIO 客 户 端 。 首 先 还 是 通过 时 序 图 了 解 关 键 步骤 和 过 程 ， 然 后 结合 代码 
进行 详细 分 析 。 


2.3.4 NIO 客 户 端 序列 图 
NIO 客 户 端 创建 序列 图 如 图 2-11 所 示 。 
图 2-11 NIO 客 户 端 创建 序列 图 


步骤 一 : 打开 SocketChannel， 绑 定 客户 端 本 地 地 址 〈 可 选 ， 默 认 系 
统 会 随机 分 配 一 个 可 用 的 本 地 地 址 ) ， 示 例 代 码 如 下 。 





SocketChannel clientChannel = SocketChannel.open(); 





步骤 二 : 设置 SocketChannel 为 非 阻塞 模式 ， 同 时 设置 客户 端 连 接 的 
TCP 参 数 ， 示 例 代 人 码 如 下 。 





clientChannel.configureBlocking( false); 
socket.setReuseAddress(true); 
socket.setReceiveBufferSize(BUFFER_SIZE); 


socket.setSendBufferSize(BUFFER_SIZE); 





步骤 三 : HIER, NDS: 





boolean connected=clientChannel.connect(new InetSocketAddress 





步骤 四 : 判断 是 否 连接 成 功 ， 如 果 连 接 成 功 ， 则 直接 注册 读 状 态 位 
到 多 路 复 用 器 中 ， 如 果 当 前 没有 连接 成 功 〈 有 异步 连接 ， 返 回 false， 说 明 
客户 端 已 经 发 送 sSync 包 ， 服 务 端 没有 返回 ack 包 ， 物 理 链 路 还 没有 建 
X) ， 示 例 代 码 如 下 。 





if (connected) 


{ 


clientChannel.register( selector, SelectionKey.OP READ, i 


clientChannel.register( selector, SelectionKey.OP CONNECT 


步 又 五 ， 同 Reactor 线 程 的 多 路 复 用 器 注册 OP_CONNECT 状 态 位 ， 
监听 服务 端的 TCP ACK 应 答 ， 示 例 代 码 如 下 。 





clientChannel.register( selector, SelectionKey.OP CONNECT, io 





步骤 六 : 创建 Reactor 线 程 ， 创 建 多 路 复 用 器 并 局 动 线程 ， 代 码 如 
Re 





Selector selector = Selector.open(); 


New Thread(new ReactorTask()).start(); 





步骤 七 : 多 路 复 用 器 在 线程 ran 方法 的 无 限 循 环 体 内 轮 询 准备 就 绪 
的 Key， 代 码 如 下 。 





int num = selector.select(); 
Set selectedKeys = selector.selectedKeys(); 
Iterator it = selectedKeys.iterator(); 
while (it.hasNext()) { 
SelectionKey key = (SelectionKey)it.next(); 
// ... deal with I/O event ... 


WY 





步骤 八 : 接收 connect 事 件 进 行 处 理 ， 示 例 代 码 如 下 。 





if (key.isConnectable()) 


//handlerConnect(); 





步骤 九 : 判断 连接 结果 ， 如 果 连 接 成 功 ， 注 册 读 事 件 到 多 路 复 用 
Ar, NDS: 





if (channel.finishConnect()) 


registerRead(); 





步骤 十 : TEMES EB SER ar PHI. 





clientChannel.register( selector, SelectionKey.OP READ, ioHan 





步骤 十 一 : 异步 读 客 户 端 请 求 消息 到 缓冲 区 ， 示 例 代 码 如 下 。 








int readNumber = channel.read(receivedBuffer ) ; 





步骤 十 二 : 对 ByteBuffer 进 行 编 解 码 ， 如 条 有 半 包 消息 接收 缓冲 区 
Reset， 继 续 读 取 后 续 的 报 文 ， 将 解码 成 功 的 消息 封装 成 Task， 投 递 到 业 
务 线程 池 中 ， 进 行业 务 逻 辑 编 排 ， 示 例 代码 如 下 。 





Object message = null; 
while(buffer.hasRemain()) 
{ 

byteBuffer.mark(); 


Object message = decode(byteBuffer ) ; 


if (message == null) 
{ 
byteBuffer.reset(); 
break; 
} 
messageList.add(message ); 
} 
if (!byteBuffer.hasRemain()) 
byteBuffer.clear(); 
else 
byteBuffer.compact(); 
if (messageList != null & !messageList.isEmpty() ) 
{ 
for(Object messageE : messageList ) 


handlerTask(messageE) ; 





步骤 十 三 : 将 POJO 对 象 encode 成 ByteBuffer， 调 用 SocketChannel 的 
异步 write 接口 ， 将 消息 异步 有 友 送 给 客户 端 ， 示 例 代 人 码 如 下 。 





socketChannel.write(buffer ) ， 





通过 序列 图 和 关键 代码 的 解说 ， 相 信 大 家 对 创建 NIO 客 户 端 程序 已 
经 有 了 一 个 初步 的 了 解 ， 下 面 就 跟随 着 我 们 的 脚步 ， 继 续 看 看 如 何 使 用 
NIO 改 造 之 前 的 时 间 服 务 器 客户 端 TimeClient 吧 。 


2.3.5 ”NIO 创 建 的 TimeClient 源 人 码 分 析 





我 们 首先 还 是 看 下 如 何 对 TimeClient 进 行 改造 。 


代码 清单 2-9 NIO 时 间 服 务 器 客户 端 TimeClient 








16. if (args != null && args.length > 0) { 
17. try { 

18. port = Integer.valueOf(args[0]); 
19. } catch (NumberFormatException e) { 
20. // 采用 默认 值 

21. } 

22. } 

23, new Thread(new TimeClientHandle("127.0.0.1", port), 
24. .start(); 

25. } 

26. } 





与 之 前 唯一 不 同 的 地 方 在 于 通过 创建 TimeClientHandle 线 程 来 处 理 
异步 连接 和 读 写 操作 ， 由 于 TimeClient 非 常 简单 且 变 更 不 大 ， 这 里 重点 
分 析 TimeClientHandle， 代 码 如 下 。 


代码 清单 2-10 NIOM TAIRA 48% m TimeClientHandle 





d package com.phei.netty.nio; 
2. import java.io.IOException; 


gs import java.net.InetSocketAddress; 


4. import java.nio.ByteBuffer; 

5. import java.nio.channels.SelectionKey; 

6. import java.nio.channels.Selector; 

7. import java.nio.channels.SocketChannel; 

8. import java.util.Iterator; 

9. import java.util.Set; 

10. 

11. yet 

12. * @author Administrator 

13. * @date 2014 年 2 月 16 日 

14, * @version 1.0 

15. */ 

16. public class TimeClientHandle implements Runnable { 
17. private String host; 

18. private int port; 

19. private Selector selector; 

20. private SocketChannel socketChannel; 

21. private volatile boolean stop; 

22. 

23% public TimeClientHandle(String host, int port) { 
24. this.host = host == null ? "127.0.0.1" : host; 
25, this.port = port; 

26. try { 

27. selector = Selector.open(); 

28. socketChannel = SocketChannel.open(); 

29. socketChannel.configureBlocking(false); 


30 . } catch (IOException e) { 


e.printStackTrace(); 


System.exit(1); 


/* 
* (non-Javadoc) 
* @see java.lang.Runnablezrun() 
vU 
QOverride 
public void run() ( 
try { 
doConnect(); 
) catch (IOException e) ( 
e.printStackTrace(); 
System.exit(1); 
} 
while (!stop) { 
try { 
selector.select(1000); 
Set<SelectionKey> selectedKeys = selector.selec 
Iterator<SelectionKey> it = selectedKeys.iterat 
SelectionKey key - null; 
while (it.hasNext()) { 
key = it.next(); 


it.remove(); 


58. 
59, 
60. 
61. 
62. 
63. 
64. 
65, 
66. 
67. 
68. 
69. 
70. 
71. 
12. 
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79. 
80. 
81. 
82. 
83. 
84. 


try { 
handleInput(key); 


} catch (Exception e) { 

if (key != null) { 
key.cancel(); 
if (key.channel() != null) 


key.channel().close(); 


} 
} catch (Exception e) { 


e.printStackTrace(); 
System.exit(1); 
} 


// 多 路 复 用 器 关闭 后 ， 所 有 注册 在 上 面 的 Channel 和 Pipe 等 资源 都 : 


if (selector != null) 


try { 


selector.close(); 








} catch (IOException e) { 


e.printStackTrace(); 


} 


private void handleInput(SelectionKey key) throws I 


85. if (key.isValid()) { 











86. // 判断 是 否 连接 成 功 

87. SocketChannel sc = (SocketChannel) key.channel( 
88. if (key.isConnectable()) { 

89. if (sc.finishConnect()) { 

9. sc.register(selector, SelectionKey.OP_READ) 
91. dowrite(sc); 

92. ) else 

93. System.exit(1);// 连接 失败 ， 进 程 退出 

94. } 

95. if (key.isReadable()) ( 

96. ByteBuffer readBuffer = ByteBuffer.allocate(102 
97. int readBytes = sc.read(readBuffer); 

98. if (readBytes > 0) { 

99. readBuffer.flip(); 

100. byte[] bytes - new byte[readBuffer.remain 
101. readBuffer.get(bytes); 

102. String body - new String(bytes, "UTF-8"); 
103. System.out.println("Now is : " + body); 
104. this.stop - true; 

105. ) else if (readBytes < 0) ( 

106. // 对 端 链 路 关闭 

107. key.cancel(); 

108. sc.close(); 

109. } else 

110. ; // 读 到 0 字 节 ， 和 忽略 


111. } 


112. 
113. 
114. 
115. 
116. 
117. 
118. 
119. 
120. 
121. 
122. 
123. 
124. 
125. 
126. 
127. 
128. 
129. 
130. 
131. 
132. 
133. 
134. 


private void doConnect() throws IOException { 
// WRAPPER KR, MEMES RS AL, ASIA, E 


if(socketChannel.connect(new InetSocketAddress(ho 








socketChannel.register(selector, SelectionKey 
dowrite(socketChannel); 
} else 


socketChannel.register(selector, SelectionKey 


private void dowrite(SocketChannel sc) throws IOE 
byte[] req = "QUERY TIME ORDER".getBytes(); 
ByteBuffer writeBuffer = ByteBuffer.allocate(req. 
writeBuffer.put(req); 

writeBuffer.flip(); 

sc.write(writeBuffer); 

if (!writeBuffer.hasRemaining()) 


System.out.println("Send order 2 server succe 





与 服务 端 类 似 ， 接 下 来 我 们 通过 对 关键 步骤 的 源码 进行 分 析 和 解 
读 ， 让 大 家 深入 了 解 如 何 创建 NIO 客 户 端 以 及 如 何 使 用 NIO 的 API。 


(1) 23 一 34 行 构造 函数 用 于 初始 化 NIO 的 多 路 复 用 器 和 
SocketChannel 对 象 。 需 要 注意 的 是 ， 创 建 SocketChannel 之 后 ， 需 要 将 其 
设置 为 异步 非 阻 塞 模式 。 就 像 在 2.3.3 章 节 中 所 讲 的 ， 我 们 可 以 设置 
SocketChannel 的 TCP 参 数 ， 例 如 接收 和 发 送 的 TCP 组 冲 区 大 小 。 





(2) 43 一 48 行 用 于 发 送 连 接 请 求 ， 作 为 示例 ， 连 接 是 成 功 的 ， 所 
以 不 需要 做 重 连 操作 ， 因 此 将 其 放 到 循环 之 前 。 下 面 我 们 具体 看 看 
doConnect 的 实现 ， 代 码 跳 到 第 116 一 123 行 ， 首 先 对 SocketChannel 的 
connect() 操 作 进 行 判 断 ， 如 果 连 接 成 功 ， 则 将 SocketChannel 注 册 到 多 路 
复 用 器 Selector 上 ， 注 册 SelectionKey.OP_READ， 如 果 没 有 直接 连接 成 
功 ， 则 说 明 服 务 端 没 有 返回 TCP 握 手 应 答 消 息 ， 但 这 并 不 代表 连接 失 
败 ， 我 们 需要 将 SocketChannel 注 册 到 多 路 复 用 器 Selector 上 ， 注 册 
SelectionKey.OP_CONNECT， 当 服务 端 返 回 TCP syn-ack 消 息 后 ， 
Selector 就 能 够 轮 询 到 这 个 SocketChannel 处 于 连接 就 绪 状 态 。 





(3) 49 一 72 行 在 循环 体 中 轮 询 多 路 复 用 器 Selector， 当 有 就 绪 的 
Channel 时 ， 执 行 第 59 行 的 handleInput(key) 方 法 ， 下 面 我 们 就 对 
handleInput 方 法 进行 分 析 。 


(4) 跳 到 第 83 行 ， 我 们 首先 对 SelectionKey 进 行 判断 ， 看 它 处 于 什 
么 状态 。 如 果 是 处 于 连接 状态 ， 说 明 服 务 端 已 经 返回 ACK 应 管 消息 。 这 
时 我 们 需要 对 连接 结果 进行 判断 ， 调 用 SocketChannel 的 finishConnect() 
方法 ， 如 有 果 返 回 值 为 tue， 说 明 客 户 端 连接 成 功 ， 如 果 返 回 值 为 false 或 
者 直接 抛 出 IOException， 说 明 连 接 失 败 。 在 本 例 程 中 ， 返 回 值 为 true， 
说 明 连 接 成 功 。 将 SocketChannel 注 册 到 多 路 复 用 器 上 ， 注 册 
SelectionKey.OP_READ 操 作 位 ， 监 听 网 络 读 操作 ， 然 后 发 送 请 求 消息 给 
服务 端 。 











下 面 我 们 对 doWrite(sc) 进 行 分 析 。 代 码 跳 到 125 行 ， 我 们 构造 请 求 
消息 体 ， 然 后 对 其 编码 ， 写 入 到 发 送 缓冲 区 中 ， 最 后 调用 SocketChannel 
的 write 方 法 进行 发 送 。 由 于 发 送 是 异步 的 ， 所 以 会 存在 “ 半 包 写 ” 问 题 ， 
此 处 不 再 歼 述 。 最 后 通过 hasRemaining() 方 法 对 发 送 结果 进行 判断 ， 如 
果 绥 冲 区 中 的 消息 全 部 发 送 完成 ， 打 印 "Send order 2 server succeed." 


(5) 返回 代码 第 95 行 ， 我 们 继续 分 析 客 户 端 是 如 何 读 取 时 间 服 务 
SENI E). AIRE Joel Y HRS BU NIA IH, DU 
SocketChannel 是 可 读 的 ， 由 于 无 法 事先 判断 应 管 码 流 的 大 小 ， 我 们 就 预 
分 配 1M 的 接收 绥 冲 区 用 于 读 取 应 答 消 息 ， 调 用 SocketChannel 的 read() 方 
法 进行 异步 读 取 操作 。 由 于 是 异步 操作 ， 所 以 必须 对 读 取 的 结果 进行 判 
断 ， 这 部 分 的 处 理 逻 辑 已 经 在 2.3.3 章 节 详 细 介 绍 过 ， 此 处 不 再 著述 。 如 
果 读 取 到 了 消息 ， 则 对 消息 进行 解码 ， 最 后 打印 结果 。 执 行 完成 后 将 
stop 置 为 true， 线 程 退出 循环 。 





(6) 线程 退出 循环 后 ， 我 们 需要 对 连接 资源 进行 释放 ， 以 实现 “ 优 
雅 退出 ”。75~80 行 用 于 多 路 复 用 器 的 资源 释放 ， 由 于 多 路 复 用 器 上 可 
能 注册 成 干 上 万 的 Channel 或 者 pipe， 如 果 一 一 对 这 些 资 源 进行 释放 显然 
不 合适 。 因 此 ，JDK 底 层 会 自动 释放 所 有 跟 此 多 路 复 用 器 关联 的 资源 ， 
JDK 的 API DOC 如 图 2-12 所 示 。 





图 2-12 多 路 复 用 器 Selector 的 资源 释放 





到 此 为 止 ， 我 们 已 经 通过 NIO 对 时 间 服 务 器 完成 了 改造 ， 并 对 源码 
进行 了 分 析 和 解读 ， 下 面 分 别 执行 时 间 服 务 器 的 服务 端 和 客户 端 ， 看 执 
行 结果 。 


服务 端 执 行 结果 如 图 2-13 所 示 。 





图 2-13 NIO 时 间 服 务 器 服务 端 执 行 结果 





客户 端 执 行 结 果 如 图 2-14 所 示 。 





图 2-14 NIO 时 间 服 务 器 客户 端 执 行 结果 





通过 源码 对 比分 析 ， 我 们 发 现 NIO 编 程 难度 确实 比 同步 阻塞 BIO 大 
很 多 ,我们 的 NIO 例 程 并 没有 考虑 “ 半 包 读 ” 和 “ 半 包 写 ”， 如 果 加 上 这 
些 ， 代 码 将 会 更 加 复业 。NIO 代 码 既 然 这 么 复杂 ， 为 什么 它 的 应 用 却 越 
来 越 广泛 呢 ， 使 用 NIO 编 程 的 优点 总 结 如 下 。 


(OD 客户 端 发 起 的 连接 操作 是 异步 的 ， 可 以 通过 在 多 路 复 用 器 注 
册 OP_CONNECT 等 竺 后续 结果 ， 不 需要 像 之 前 的 客户 端 那样 被 同步 阻 


or 


AE 0 





(2) SocketChannel 的 读 写 操作 都 是 异步 的 ， 如 果 没 有 可 读 写 的 数 
据 它 不 会 同步 等 待 ， 直 接 返 回 ， 这 样 O 通 信 线 程 就 可 以 处 理 其 他 的 链 
路 ， 不 需要 同步 等 待 这 个 链 路 可 用 。 


(3) 线程 模型 的 优化 : 由 于 JDK 的 Selector 在 Linux 等 主流 操作 系统 
上 通过 epoll 实 现 ， 它 没有 连接 句柄 数 的 限制 (只 受 限于 操作 系统 的 最 大 
句柄 数 或 者 对 单个 进程 的 句柄 限制 ) ， 这 意味 着 一 个 Selector 线 程 可 以 
同时 处 理 成 千 上 万 个 客户 端 连 接 ， 而 且 性 能 不 会 随 着 客户 端的 增加 而 线 
性 下 降 ， 因 此 ， 它 非常 适合 做 高 性 能 、 高 负载 的 网 络 服务 器 。 








JDK1.7 升 级 了 NIO 类 库 ， 升 级 后 的 NIO 类 库 被 称 为 NIO2.0， 引 人 注 
目的 是 ，Java 正 式 提 供 了 异步 文件 IO 操作 ， 同 时 提供 了 与 UNIX 网 络 编 
程 事件 驱动 O 对 应 的 AIO， 下 面 的 2.4 章 节 我 们 学 习 下 如 何 利用 NIO2.0 
编写 AIO 程 序 ， 还 是 以 时 间 服 务 器 为 例 进行 讲解 。 





24  AIOZm TE 


NIOSOSIA EMITE AREE 的 概念 ， 并 提供 了 异步 文件 通道 和 异步 
套 接 字 通 道 的 实现 。 异 步 通 道 提 供 :两 种 方式 获取 获取 操作 结 











e 通过 java.util.concurrent.Future 类 来 表示 异步 操作 的 结果 ; 
e 在 执行 异步 操作 的 时 候 传 入 一 个 java.nio.channels。 





CompletionHandler 接 口 的 实现 类 作为 操作 完成 的 回调 。 





NIO2.0 的 异步 套 接 字 通道 是 真正 的 异步 非 阻塞 /O， 它 对 应 UNIX 网 
络 编程 中 的 事件 驱动 /O (AIO) ， 它 不 需要 通过 多 路 复 用 器 
(Selector) 对 注册 的 通道 进行 轮 询 操 作 即 可 实现 异步 读 写 ， 从 而 简化 
了 NIO 的 编程 模型 。 








下 面 通 过 代码 来 熟悉 NIO2.0 AIO 的 相关 类 库 ， 仍 旧 以 时 间 服 务 器 为 
例 程 进行 讲解 。 


2.4.1 AIO 创建 的 TimeServer 源 人 码 分 析 
首先 看 下 时 间 服 务 器 的 主 函 数 。 


代码 清单 2-11 ATOM [RI HRA 48 Hk 25 vi TimeClientHandle 





10. public class TimeServer { 
11. 
12. AER 


13. * @param args 


14, * @throws IOException 





15. */ 

16. public static void main(String[] args) throws IOExc 
17. int port = 8080; 

18. if (args != null && args.length > 0) { 

19. try { 

20. port = Integer.valueOf(args[0]); 

21. } catch (NumberFormatException e) { 

22; // 采用 默认 值 

23. } 

24. } 

25. AsyncTimeServerHandler timeServer=new AsyncTimeServ 
26. new Thread(timeServer, "AIO-AsyncTimeServerHandler- 
27. } 

28. 4 





我 们 直接 从 第 25 行 开始 看 ， 首 先 创 建 异步 的 时 间 服 务 器 处 理 类 ， 然 
后 启动 线程 将 AsyncTimeServerHandler 拉 起 ， 代 码 如 下 。 


代码 清单 2-12 AIO 时 间 服 务 器 服务 端 





13; public class AsyncTimeServerHandler implements Runnable 
14. 

15. private int port; 

16. 


17. CountDownLatch latch; 


18. 
19. 
20. 
21. 
22. 
23. 
24. 
25. 
26. 
27. 
28. 
29. 
30. 
31. 
32. 
33. 
34. 
35. 
36. 
37. 
38. 
39. 
40. 
41. 
42. 
43. 
44. 


AsynchronousServerSocketChannel asynchronousServerS 


public AsyncTimeServerHandler(int port) { 

this.port = port; 

try 4 
asynchronousServerSocketChannel = AsynchronousS 

.open(); 

asynchronousServerSocketChannel.bind(new InetSo 
System.out.println("The time server is start in 

) catch (IOException e) ( 


e.printStackTrace(); 


/* 


* (non-Javadoc) 


* @see java.lang.Runnablezrun() 
*/ 
@Override 


public void run() { 


latch = new CountDownLatch(1); 
doAccept(); 
try 1 

latch.await(); 


} catch (InterruptedException e) { 


45. e.printStackTrace(); 


46. } 

47. } 

48. 

49. public void doAccept() { 

50. asynchronousServerSocketChannel.accept(this, 
51. new AcceptCompletionHandler()); 

52. } 





我 们 重点 对 AsyncTimeServerHandler 进 行 分 析 。 首 先 看 20 一 27 行 ， 
在 构造 方法 中 ， 我 们 首先 创建 一 个 异步 的 服务 端 通道 
AsynchronousServerSocketChannel， 然 后 调用 它 的 bind 方 法 绑 定 监听 端 
口 ， 如 果 端 口 合法 且 没 被 占用 ， 绑 定 成 功 ， 打 印 局 动 成 功 提 示 到 控制 


人 
Lio 





在 线程 的 run 方 法 中 ， 第 40 行 我 们 初始 化 CountDownLatch 对 象 ， 它 
的 作用 是 在 完成 一 组 正在 执行 的 操作 之 前 ， 人 允许 当前 的 线程 一 直 阻 喜 。 
在 本 例 程 中 ， 我 们 让 线程 在 此 阻 坚 ， 防 止 服务 端 执行 完成 退出 。 在 实际 
项 目 应 用 中 ， 不 需要 启动 独立 的 线程 来 处 理 
AsynchronousServerSocketChannel， 这 里 仅仅 是 个 demo 演 示 。 


第 41 行 用 于 接收 客户 端的 连接 ， 由 于 是 异步 操作 ， 我 们 可 以 传递 一 
个 CompletionHandler <AsynchronousSocketChannel,? super A 二 类 型 的 
handler 实 例 接收 accept 操 作成 功 的 通知 消息 ， 在 本 例 程 中 我 们 通过 
AcceptCompletionHandler 实 例 作 为 handler 来 接收 通知 消息 ， 下 面 继续 对 
AcceptCompletionHandler 进 行 分 析 。 


代码 清单 2-13 AIO 时 间 服 务 器 服务 端 AcceptCompletionHandler 





14. 
15. 
16. 
17. 
18. 
19. 
20. 
21. 
22. 
23. 
24. 
25. 
26. 
27. 
28. 


@Override 

public void completed(AsynchronousSocketChannel res 
AsyncTimeServerHandler attachment) { 

attachment .asynchronousServerSocketChannel.accept(a 

ByteBuffer buffer = ByteBuffer.allocate(1024); 


result.read(buffer, buffer, new ReadCompletionHandl 


} 


@Override 
public void failed(Throwable exc,AsyncTimeServerHan 
exc.printStackTrace(); 


attachment.latch.countDown(); 


} 





CompletionHandler 有 两 个 方法 ， 分 别 如 下 。 


e public 


Void completed(AsynchronousSocketChannel result, 


AsyncTimeServerHandler attachment); 


e public 


void failed(Throwable exc, AsyncTimeServerHandler 


attachment). 





下 面 我 们 分 别 对 这 两 个 接口 的 实现 进行 分 析 。 首 先 看 completed 接 口 
的 实现 ， 代 码 18 一 20 行 ， 我 们 从 attachment 获 取 成 员 变 量 





AsynchronousServerSocketChannel， 然 后 继续 调用 它 的 accept 方 法 。 有 的 
读者 在 此 可 能 会 心 存 疑惑 : 既然 已 经 接收 客户 端 成 功 了 ， 为 什么 还 要 再 
次 调用 accept 方 法 呢 ? 原因 是 这 样 的 ; 当 我 们 调用 
AsynchronousServerSocketChannel 的 accept 方 法 后 ， 如 果 有 新 的 客户 端 连 
接 接 入 ， 系 统 将 回调 我 们 传 入 的 CompletionHandler 实 例 的 completed 方 
法 ， 表 示 新 的 客户 端 已 经 接 入 成 功 ， 因 为 一 个 AsynchronousServerSocket 
Channel 可 以 接收 成 干 上 万 个 客户 端 ， 所 以 我 们 需要 继续 调用 它 的 accept 
方法 ， 接 收 其 他 的 客户 问 连 接 ， 最 终 形 成 一 个 循环 。 每 当 接 收 一 个 客户 
读 连 接 成 功 之 后 ， 再 异步 接收 新 的 客户 端 连接 。 








链 路 建立 成 功 之 后 ， 服 务 端 需要 接收 客户 端的 请 求 消 息 ， 在 代码 第 
19 行 我 们 创建 新 的 ByteBuffer， 预 分 配 1M 的 缓冲 区 。 第 20 行 我 们 通过 调 
用 AsynchronousSocketChannel 的 read 方 法 进行 异步 读 操作 。 下 面 我 们 看 
看 异步 read 方 法 的 参数 。 


e ByteBuffer dst: 接收 缓冲 区 ， 用 于 从 异步 Channel 中 读 取 数据 包 ; 

e A attachment: 异步 Channel 携 融 的 附件 ， 通 知 回调 的 时 候 作 为 入 参 
使 用 ; 

e CompletionHandler<Integer,? super A>: 接收 通知 回调 的 业务 
handler， 本 例 程 中 为 ReadCompletionHandler。 





下 面 我 们 继续 对 ReadCompletionHandler 进 行 分 析 。 


代码 清单 2-14 AIO 时 间 服 务 器 服务 端 ReadCompletionHandler 





9. [5T 
10. * Qauthor lilinfeng 


11. 
12. 
13. 
14. 
15. 
16. 
17. 
18. 
19. 
20. 
21. 
22. 
23. 
24. 
25. 
26. 
27. 
28. 
29. 
30. 
31. 
32. 
33. 
34. 
35. 
36. 
37. 





* Qdate 2014 年 2 月 16 日 


* @version 1.0 


public class ReadCompletionHandler implements 


CompletionHandler<Integer, ByteBuffer> { 


private AsynchronousSocketChannel channel; 


public ReadCompletionHandler(AsynchronousSocketChan 
if (this.channel -- null) 


this.channel - channel; 


QOverride 

public void completed(Integer result, ByteBuffer at 

attachment .flip(); 

byte[] body = new byte[attachment.remaining()]; 

attachment .get(body); 

try { 
String req - new String(body, "UTF-8"); 
System.out.println("The time server receive ord 
String currentTime = "QUERY TIME ORDER".equalsI 

System.currentTimeMillis()).toString() : "B 

dowrite(currentTime); 

) catch (UnsupportedEncodingException e) ( 


e.printStackTrace(); 


38. 
39. 
40. 
41. 
42. 
43. 
44. 
45. 
46. 
47. 
48. 
49. 
50. 
51. 
52. 
53. 
54. 
55, 
56. 
57. 
58. 
59. 
60. 
61. 
62. 
63. 
64. 


private void dowrite(String currentTime) ( 


if (currentTime !- null && currentTime.trim().lengt 


byte[] bytes = (currentTime).getBytes(); 
ByteBuffer writeBuffer - ByteBuffer.allocate(by 
writeBuffer.put(bytes); 
writeBuffer.flip(); 
channel.write(writeBuffer, writeBuffer, 
new CompletionHandler«Integer, ByteBuffer>( 
QOverride 
public void completed(Integer result, ByteB 
// 如 果 没 有 发 送 完成 ， 继 续 发 送 


if (buffer.hasRemaining()) 





channel.write(buffer, buffer, this); 


@Override 

public void failed(Throwable exc, ByteBuffe 
try { 
channel.close(); 
} catch (IOException e) { 


// ingnore on close 


J): 


65. } 


66. 

67. @Override 

68. public void failed(Throwable exc, ByteBuffer attach 
69. try { 

70. this.channel.close(); 

71. } catch (IOException e) { 

72. e.printStackTrace(); 

73. } 

74. } 

75. } 





首先 看 构造 方法 ， 我 们 将 AsynchronousSocketChannel 通 过 参数 传递 
到 ReadCompletion ”Handler 中 当 作 成 员 变 量 来 使 用 ， 主 要 用 于 读 取 半 包 
消 轧 和 发 送 应 答 。 本 例 程 不 对 半 包 读 写 进行 具体 说 明 ， 对 此 感 兴趣 的 读 
者 可 以 关注 后 续 章 节 对 Netty 半 包 处 理 的 专题 介绍 。 我 们 继续 看 代码 ， 
第 25 一 38 行 是 读 取 到 消息 后 的 处 理 ， 首 先 对 attachment 进 行 fp 操作， 为 
后 续 从 缓冲 区 读 取 数 据 做 准备 。 根 据 缓冲 区 的 可 读 字 节 数 创 建 byte 数 
组 ， 然 后 通过 new String 方法 创建 请 求 消 上 ， 对 请 求 消息 进行 判断 ， 如 
果 是 "QUERY TIME ”ORDER" 则 获取 当前 系统 服务 器 的 时 间 ， 调 用 
doWrite 方 法 发送 给 客户 端 。 下 面 我 们 对 doWrite 方 法 进行 详细 分 析 。 





跳 到 代码 第 41 行 ， 站 先 对 当前 时 间 进 行 合法 性 校 验 ， 如 果 合 法 ， 调 
用 字符 串 的 解码 方法 将 应 管 消 肯 编码 成 字数 组， 然后 将 它 复制 到 发 送 
绥 冲 区 writeBuffer 中 ， 最 后 调用 AsynchronousSocketChannel 的 异步 write 
方法 。 正 如 前 面 介绍 的 异步 read 方 法 一 样 ， 它 也 有 三 个 与 read 方 法 相同 
的 参数 ， 在 本 例 程 中 我 们 直接 实现 write 方 法 的 异步 回调 接口 


CompletionHandler。 代 码 跳 到 第 51 行 ， 对 发 送 的 writeBuffer 进 行 判 断 ， 
如 末 还 有 剩余 的 字 节 可 写 ， 说 明 没 有 发 送 完成 ， 需 要 继续 有 发送， 直到 发 








最 后 ， 我 们 关注 下 failed 方 法 ， 它 的 实现 很 简单 ， 就 是 当 发 生 异 名 
的 时 候 ， 对 异常 Throwable 进 行 判 断 ， 如 果 是 WO 异常 ， 就 关闭 链 路 ， 释 
放 资 源 ， 如 果 是 其 他 异常 ， 按 照 业务 自己 的 逻辑 进行 处 理 。 本 例 程 作为 
简单 demo， 没 有 对 异常 进行 分 类 判断 ， 只 要 发 生 了 读 写 异常 ， 就 关闭 
链 路 ， 释 放 资 源 。 











异步 非 阻塞 IO 版 本 的 时 间 服 务 器 服务 端 已 经 介绍 完毕 ， 下 面 我 们 
继续 看 客户 端的 实现 。 


2.4.2 AIO 创 建 的 TimeClient 源 人 码 分 析 
首先 看 下 客户 端 主 函数 的 实现 。 


代码 清单 2-15 AIO 时 间 服 务 器 客户 端 TimeClient 








16. try { 

17. port = Integer.valueOf(args[0]); 

18. } catch (NumberFormatException e) { 

19. // 采用 默认 值 

20. } 

21. } 

22, new Thread(new AsyncTimeClientHandler("127.0.0.1", 
23. "AIO-AsyncTimeClientHandler-001").start(); 


24. 





第 22 行 我 们 通过 一 个 独立 的 IO 线程 创建 异步 时 间 服 务 器 客户 站 





handler， 在 实际 项 目 中 ， 我 们 不 需要 独立 的 线程 创建 异步 连 接 对 象 ， 
为 底层 都 古 通 过 JDK 的 系统 回调 实现 的 ， 在 后 面 运行 时 间 服 务 器 程序 的 
时 候 ， 我 们 会 抓 取 线 程 调用 堆栈 给 大 家 展示 。 


继续 看 代码 ，AsyncTimeClientHandler 的 实现 类 源码 如 下 。 


代码 清单 2-16 


AIOHJ [8] IRA 28 FP !mAsyncTimeClientHandler 





package com.phei.netty.aio; 


1 

2 

3 import java.io.IOException; 

4 import java.io.UnsupportedEncodingException; 
5; import java.net.InetSocketAddress; 

6 import java.nio.ByteBuffer; 

7 import java.nio.channels.AsynchronousSocketChannel; 
8 import java.nio.channels.CompletionHandler; 
9 import java.util.concurrent.CountDownLatch; 
10. 

ll. 4 

12. * (author Administrator 


13. * Qdate 20144F2H16H 


14. * Qversion 1.0 


15, */ 


public class AsyncTimeClientHandler implements 


CompletionHandler<Void, AsyncTimeClientHandler>, 


private AsynchronousSocketChannel client; 
private String host; 
private int port; 


private CountDownLatch latch; 


Run 


public AsyncTimeClientHandler(String host, int port) 


this.host = host; 
this.port = port; 


try { 


client = AsynchronousSocketChannel.open(); 


} catch (IOException e) { 


e.printStackTrace(); 


@Override 
public void run() { 
latch = new CountDownLatch(1); 
client.connect(new InetSocketAddress(host, 
try { 

latch.await(); 
) catch (InterruptedException e1) { 


e1.printStackTrace(); 


port), 


th 


43. 
44. 
45. 
46. 
47. 
48. 
49. 
50. 
51. 
52. 
53. 
54. 
55, 
56. 
57. 
58. 
59. 
60. 
61. 
62. 
63. 
64. 
65. 
66. 
67. 
68. 
69. 


try { 


client.close(); 
) catch (IOException e) ( 


e.printStackTrace(); 


@Override 
public void completed(Void result, AsyncTimeClientHa 
byte[] req = "QUERY TIME ORDER" .getBytes(); 
ByteBuffer writeBuffer = ByteBuffer.allocate(req.len 
writeBuffer.put(req); 
writeBuffer.flip(); 
client.write(writeBuffer, writeBuffer, 
new CompletionHandler<Integer, ByteBuffer>() { 
@Override 
public void completed(Integer result, ByteBu 
if (buffer.hasRemaining()) { 
client.write(buffer, buffer, this); 
} else { 
ByteBuffer readBuffer = ByteBuffer.alloc 
client.read( 
readBuffer, 
readBuffer, 
new CompletionHandler<Integer, ByteB 
@Override 


public void completed(Integer result 


70. 
71. 
72. 
13, 
74. 
75. 
76. 
77. 
78. 
79. 
80. 
81. 
82. 
83. 
84. 
85. 
86. 
87. 
88. 
89. 
90. 
91. 
92. 
93. 
94. 
95. 
96. 


ByteBuffer buffer) { 

buffer.flip(); 

byte[] bytes = new byte[buffer 
.remaining()]; 

buffer.get(bytes); 

String body; 

try { 

body = new String(bytes, 
"UTF-8"); 

System.out.println("Now is : " 
+ body); 


latch.countDown(); 


} catch (UnsupportedEncodingExce 


e.printStackTrace(); 


} 


@Override 


public void failed(Throwable exc, 


ByteBuffer attachment) { 
try { 

client.close(); 
latch.countDown(); 

) catch (IOException e) ( 


// ingnore on close 


j 


97. 
98. 
99. 


100. 
101. 
102. 
103. 
104. 
105. 
106. 
107. 
108. 
109. 
110. 
111. 
112. 
113. 
114. 
115. 
116. 
117. 
118. 
119. 
120. 
121. 
122. 
123. 


}); 


@Override 
public void failed(Throwable exc, ByteBuff 
try 4 
client.close(); 
latch.countDown(); 
) catch (IOException e) ( 


// ingnore on close 


} 
} 
3): 
} 
@Override 


public void failed(Throwable exc, AsyncTimeClient 
exc.printStackTrace(); 
try { 
client.close(); 
latch.countDown(); 
) catch (IOException e) ( 


e.printStackTrace(); 





由 于 在 AsyncTimeClientHandler 中 大 量 使 用 了 内 部 匿名 类 ， 所 以 代 
码 看 起 来 稍微 有 些 复杂 ， 下 面 我 们 就 对 主要 代码 进行 详细 讲解 。 








24 一 32 行 是 构造 方法 ， 首 先 通 过 AsynchronousSocketChannel 的 open 
方法 创建 一 个 新 的 AsynchronousSocketChannel 对 象 。 然 后 跳 到 第 36 行 ， 
创建 CountDownLatch 进 行 等 待 ， 防 止 异 步 操 作 没 有 执行 完成 线程 就 退 
出 。 第 37 行 通过 connect 方 法 发 起 异步 操作 ， 它 有 两 个 参数 ， 分 别 如 下 。 


e A attachment: AsynchronousSocketChannel 的 附件 ， 用 于 回调 通知 时 
作为 入 参 被 传递 ， 调 用 者 可 以 自 定义 ; 

。 CompletionHandler<Void,? super A> handler: 异步 操作 回调 通知 
接口 ， 由 调用 者 实现 。 


在 本 例 程 中 ， 我 们 的 两 个 参数 都 使 用 AsyncTimeClientHandler 类 本 
身 ， 因 为 它 实 现 了 CompletionHandler 接 口 。 


接 下 来 我 们 看 异步 连接 成 功 之 后 的 方法 回调 completed 方 法 。 代 
码 第 52 行 ， 我 们 创建 请 求 消息 体 ， 对 其 进行 编码 ， 然 后 复制 到 发 送 绥 剖 
区 writeBuffer 中 ， 调 用 Asynchronous SocketChannel 的 write 方法 进行 异步 
写 。 与 服务 端 类 似 ， 我 们 可 以 实现 CompletionHandler <Integer, 
ByteBuffer 之 接口 用 于 写 操 作 完 成 后 的 回调 。 代 码 第 60 一 62 行 ， 如 果 发 
送 缓冲 区 中 仍 有 尚未 发 送 的 字 节 ， 将 继续 异步 有 发送 ， 如 果 已 经 发 送 完 
成 ， 则 执行 异步 读 取 操作 。 





代码 第 64 一 97 行 是 客户 端 异步 谈 取 时 间 服 务 器 服务 端 应 答 消 筷 的 处 
理 逻 辑 。 人 代码 第 64 行 调用 AsynchronousSocketChannel 的 read 方 法 异步 读 
取 服 务 端的 啊 应 消息 。 由 于 read 操 作 是 异步 的 ， 所 以 我 们 通过 内 部 匿名 


类 实现 CompletionHandler<Integer，ByteBuffer 之 接口 ， 当 读 取 完成 被 
JDK 回 调 时 ， 构 造 应 答 消 息 。 第 71 一 78 行 从 CompletionHandler 的 
ByteBuffer 中 读 取 应 管 消息 ， 然 后 打印 结 





第 102 一 111 行 ， 当 读 取 发 生 异 常 时 ， 关 闭 链 路 ， 同 时 调用 
CountDownLatch 的 countDown 方 法 让 AsyncTimeClientHandler 线 程 执行 完 
毕 ， 客 户 端 退出 执行 。 


需要 指出 的 是 ， 正 如 之 前 的 NIO 例 程 ， 我 们 并 没有 完整 的 处 理 网 络 
的 半 包 读 写 ， 在 对 例 程 进 行 功能 测试 的 时 候 没 有 问题 ， 但 是 ， 如 有 果 对 代 
码 称 加 改造 ， 进 行 压力 或 者 性 能 测试 ， 殊 会友 现 输出 结果 存在 问题 。 


由 于 半 包 读 写 会 作为 专门 的 小 节 在 Netty 的 应 用 和 源码 分 析 章 节 进 
行 详细 讲解 ， 在 NIO 的 入 门 章节 我 们 就 不 详细 展开 介绍 了 ， 以 便 读者 能 
够 将 注意 力 集中 在 NIO 的 入 门 知 识 上 来 。 


在 下 面 的 小 节 中 我 们 会 运行 AIO 版 本 的 时 间 服 务 嚣 程序， 并 通过 打 
印 线 程 堆 栈 的 方式 看 下 JDK 回 调 异 步 Channel CompletionHandler 的 调用 
情况 。 





2.4.3 AIO 版 本 时 间 服 务 器 运行 结果 


执行 TimeServer， 运 行 结果 如 图 2-15 所 示 。 





图 2-15 AIO 时 间 服 务 器 服务 端 运行 结果 





执行 TimeClient， 运 行 结果 如 图 2-16 所 示 。 





图 2-16 ”AIO 时 间 服 务 器 客户 端 运 行 结果 





下 面 我 们 继续 看 下 JDK 异 步 回调 CompletionHandler 的 线程 执行 堆 
栈 。 








图 2-17 AIO 时 间 服 务 器 异步 回调 线程 堆栈 








从 “Thread-2” 线 程 堆栈 中 可 以 发 现 ，JDK 底 层 通 过 线程 池 
ThreadPoolExecutor 来 执行 回调 通知 ， 异 步 回调 通知 类 由 
sun.nio.ch.AsynchronousChannelGroupImp] 实 现 ， 它 经 过 层 层 调用 ， 最 终 
回调 com.phei.netty.aio.AsyncTimeClientHandler$1.completed 方 法 ， 完 成 
回调 通知 。 由 此 我 们 也 可 以 得 出 结论 : 异步 Socket ”Channel 是 被 动 执 行 
对 象 ， 我 们 不 需要 像 NIO 编 程 那样 创建 一 个 独立 的 VO 线程 来 处 理 读 写 操 
作 。 对 于 AsynchronousServerSocket Channel 和 
AsynchronousSocketChannel， 它 们 都 由 JDK 底 层 的 线程 池 负 责 回调 并 驱 
动 读 写 操作 。 正 因为 如 此 ， 基 于 NIO2.0 新 的 异步 非 阻 塞 Channel 进 行 编 
程 比 NIO 编 程 更 为 简单 。 


本 小 节 我 们 讲解 了 JDK1.7 提 供 的 新 的 异步 非 阻塞 /JO CAIO) 的 用 
法 ， 由 于 国内 商用 的 主流 Java 版 本 仍然 是 JDK1.6， 因 此 ， 本 小 节 不 再 详 
细 介 绍 NIO2.0 其 他 新 增 的 特性 ， 如 果 大 家 对 NIO2.0 的 异步 文件 操作 等 特 
性 感 兴趣 ， 可 以 选择 阅读 JDK1.7 的 相关 书籍 或 者 查看 甲骨 文 发 布 的 
JDK1.7 白 皮 书 。 


下 个 小 节 我 们 对 本 章 列举 的 5 种 IO 进行 概念 澄清 和 比较 ， 让 大 家 从 
整体 上 掌握 这 些 IMO 模 型 的 差异 ， 以 便 在 未 来 的 工作 中 能 够 根据 产品 的 
实际 情况 选择 合适 的 IO 模型 。 


2.5 4 种 IO 的 对 比 
2.5.1 ”概念 澄清 


为 了 防止 由 于 对 一 些 技术 概念 和 术语 的 理解 或 者 叫 法 不 一 致 而 引起 
歧义 ， 本 小 节 特 意 对 本 书 中 的 专业 术语 或 者 技术 用 语 做 下 声明 : 如 果 它 
们 与 其 他 一 些 技术 书籍 的 称呼 不 一 致 ， 请 以 本 小 节 的 解释 为 准 。 


1. JENO 


很 多 人 喜欢 将 JDK1.4 提 供 的 NIO 框 架 称 为 异步 非 阻塞 HO， 但 是 ， 如 
果 严 格 按照 UNIX 网 络 编程 模型 和 JDK 的 实现 进行 区 分 ， 实 际 上 它 只 能 
被 称 为 非 阻 塞 TO， 不 能 叫 噶 步 非 阻 奢 IO。 在 早期 的 JDK1.4 和 1.5 
update10 版 本 之 前 ，JDK 的 Selector 基 于 select/poll 模 型 实现 ， 它 是 基于 
IO 复 用 技术 的 非 阻 塞 O， 不 是 异步 JO。 在 JDK1.5 updatel10 和 Linux 
core2.6 以 上 版 本 ，Sun 优 化 了 Selctor 的 实现 ， 它 在 底层 使 用 epoll 蔡 换 了 
select/poll， 上 层 的 API 并 没有 变化 ， 可 以 认为 是 JDK NIO 的 一 次 性 能 优 
化 ， 但 是 它 仍 旧 没 有 改变 W/O 的 模型 。 相 关 优 化 的 官方 说 明 如 图 2-17 所 
示 。 





由 JDK1.7 提 供 的 NIO2.0， 新 增 了 异步 的 套 接 字 通 道 ， 它 是 真正 的 异 
步 JO， 在 异步 7O 操 作 的 时 候 可 以 传递 信号 变量 ， 当 操作 完成 之 后 会 回 
调 相 关 的 方法 ， 异 步 IO 也 被 称 为 AIO。 





NIO 关 库 文 持 非 阻塞 恋 和 写 操作 ， 相 比 于 之 前 的 同步 阻塞 恋 和 写 ， 
它 是 异步 的 ， 因 此 很 多 人 习惯 于 称 NIO 为 异步 非 阻塞 JO， 包 括 很 多 介绍 
NIO 编 程 的 书籍 也 沿用 了 这 个 说 法 。 为 了 符合 大 家 的 习惯 ， 本 书 也 会 将 








NIO 称 为 异步 非 阻 塞 IO 或 者 非 阻塞 VO， 请 大 家 理解 ， 不 要 过 分 纠结 在 
一 些 技 术 术 语 的 咬文嚼字 上 。 


[2-17 JDK1.5_update10%X #epoll 
2. SEHR H as Selector 
几乎 所 有 的 中 文 技术 书籍 都 将 Selector 翻 译 为 选择 器 ， 但 是 实际 上 


我 认为 这 样 的 翻译 并 不 恰当 ， 选 择 器 仅仅 是 字面 上 的 意思 ， 体 现 不 出 
Selector 的 功能 和 特点 。 











在 前 面 的 章节 我 们 介绍 过 Java NIO 的 实现 关键 是 多 路 复 用 WO 技术 ， 
多 路 复 用 的 核心 就 是 通过 Selector 来 轮 询 注册 在 其 上 的 Channel， 当 发 现 
某 个 或 者 多 个 Channel 处 于 束 绪 状态 后 ， 从 阻塞 状态 返回 惑 绪 的 Channel 
的 选择 键 集合 ， 进 行 UO 操 作 。 由 于 多 路 复 用 器 是 NIO 实 现 非 阻塞 IO 的 
关键 ， 它 又 是 主要 通过 S$elector 实 现 的 ， 所 以 本 书 将 Selector 翻 译 为 多 路 
复 用 器 ， 与 其 他 技术 书籍 所 说 的 选择 器 是 同一 个 东西 ， 请 大 家 了 解 。 








3. 伪 异步 IO 


伪 异 步 1/O 的 概念 完全 来 源 于 实践 。 在 JDK NIO 编 程 没 有 流行 之 前 ， 
为 了 解决 Tomcat 通 信 线 程 同 步 JO 导 致 业务 线程 被 挂 住 的 问题 ， 大 家 想 
到 了 一 个 办 法 : 在 通信 线程 和 业务 线程 之 间 做 个 缓冲 区 ， 这 个 缓冲 区 用 
于 隅 离 VO 线 程 和 业务 线程 间 的 直接 访问 ， 这 样 业务 线程 束 不 会 被 /O 线 
程 阻塞。 而 对 于 后 端的 业务 侧 来 说 ， 将 消 妃 或 者 Task 放 到 线程 池 后 就 返 
回 了 ， 它 不 再 直接 访问 W/O 线程 或 者 进行 WO 读 写 ， 这 样 也 就 不 会 被 同步 
阻 时 。 关 似 的 设计 还 包括 前 端 司 动 一 组 线程 ， 将 接收 的 客户 端 封 逆 成 
Task， 放 到 后 端的 线程 池 执行 ， 用 于 解决 一 连接 一 线程 问题 。 像 这 样 通 





过 线程 池 做 缓冲 区 的 做 法 ， 本 书 中 习惯 于 称 它 为 伪 异 步 WO， 而 官方 并 
没有 伪 异 步 WO 这 种 说 法 ， 请 大 家 注意 。 


下 面 的 小 节 我 们 对 几 种 常见 的 VO 进行 对 比 ， 以 便 大 家 能 够 理解 几 
种 WO 的 差异 。 
2.5.2 不同 WVO 模 型 对 比 


不 同 的 VO 模型 由 于 线程 模型 、API 等 差别 很 大 ， 所 以 用 法 的 差异 也 
非常 大 。 由 于 之 前 的 几 个 小 节 已 经 集中 对 这 几 种 VO 的 API 和 用 法 进行 了 
说 明 ， 本 小 节 会 重点 对 这 几 种 WO 进行 功能 对 比 。 如 表 2-1 所 示 。 





表 2-1 几 种 VO 模型 的 功能 和 特性 对 比 








尽管 本 书 是 专门 介绍 NIO 框 架 Netty 的 ， 但 是 ， 并 不 意味 着 所 有 的 
Java 网 络 编程 都 必须 要 选择 NIO 和 Netty， 有 具体 选择 什么 样 的 MO 模型 或 者 
NIO 框 架 ， 完 全 基于 业务 的 实际 应 用 场景 和 性 能 诉求 ， 如 果 客 户 端 并 发 
连接 数 不 多 ， 周 边 对 接 的 网 元 不 多 ， 服 务 器 的 负载 也 不 重 ， 那 就 完全 没 
必要 选择 NIO 做 服务 端 ， 如 果 是 相反 情况 ， 那 就 要 考虑 选择 合适 的 NIO 
框架 进行 开发 。 





对 比 完 Java 的 几 种 主流 IO 模型 之 后 ， 我 们 继续 看 下 为 什么 要 选择 
Netty 进 行 NIO 开 发 ， 而 不 是 直接 使 用 JDK 的 NIO 原 生 类 库 。 


2.6 ”选择 Netty 的 理由 


在 开始 本 节 之 前 ， 我 先 讲 一 个 杀身 经 历 的 故事 : 曾经 有 两 个 项 目 组 
同时 用 到 了 NIO 编 程 技术 ， 一 个 项 目 组 选择 自己 开发 NIO 服 务 端 ， 直 接 
使 用 JDK 原 生 的 API， 结 果 两 个 多 月 过 去 了 ， 他 们 的 NIO 服 务 端 始终 无 
法 稳定 ， 问 题 频 出 。 由 于 NIO 通 信和 是 它们 的 核心 组 件 之 一 ， 因 此 ， 项 目 
的 进度 受到 了 严重 的 影响 ， 领 导 对 此 也 非常 恼火 。 另 一 个 项 目 组 直接 使 
用 Netty 作 为 NIO 服 务 端 ， 业 务 的 定制 开发 工作 量 非 常 小 ， 测 试 表 明 ， 功 
能 和 性 能 都 完全 达标 ， 项 目 组 几乎 没有 在 NIO 服 务 端 上 花费 额外 的 时 间 
和 精力 ， 项 目 进展 也 非常 顺利 。 





这 两 个 项 目 组 的 不 同 遭 过 告诉 我 们 : 开发 出 高 质量 的 NIO 程 序 并 不 
征 一 件 简 单 的 事情 ， 除 去 NIO 回 有 的 复杂 性 和 BUG 不 谈 ， 作 为 一 个 NIO 
服务 端 ， 需 要 能 够 处 理 网 络 的 内 断 、 客 户 端的 重复 接 入 、 客 户 端的 安全 
认证 、 消 息 的 编 解 码 、 半 包 读 写 等 情况 ， 如 果 你 没有 足够 的 NIO 编 程 经 
验 积 累 ， 一 个 NIO 框 架 的 稳定 往往 需要 半年 甚至 更 长 的 时 间 。 更 为 糟糕 
的 是 ， 一 旦 在 生产 环境 中 发 生 问题 ， 往 往 会 导致 路 节点 的 服务 调用 中 
断 ， 严 重 的 可 能 会 导致 整个 集群 环境 都 不 可 用 ， 需 要 重启 服务 右 ， 这 种 
非 正 常 个 机 会 带 来 巨大 的 损失 。 











从 可 维护 性 角度 看 ， 由 于 NIO 采 用 了 卉 步 非 阻 紧 编程 模型 ， 而 且 古 
一 个 IO 线程 处 理 多 条 链 路 ， 它 的 调试 和 跟踪 非常 蚊 烦 ， 特 别 是 生产 环 
境 中 的 问题 ， 我 们 无 法 进行 有 效 的 调试 和 跟踪 ， 往 往 只 能 靠 一 些 日 志 来 
辅助 分 析 ， 定 位 难度 很 大 。 





2.6.1 不 选择 Java 原 生 NIO 编 程 的 原因 


现在 我 们 总 结 一 下 为 什么 不 建议 开发 者 直接 使 用 JDK 的 NIO 类 库 进 
行 开 发 ， 具 体 原 因 如 下 。 





(1) NIO 的 类 库 和 API 繁 条 ， 使 用 打 烦 ， 你 需要 熟练 掌握 Selector、 
ServerSocketChannel、SocketChannel、ByteBuffer 等 。 


(2) 需要 具备 其 他 的 额外 技能 做 铺垫 ， 例 如 熟悉 Java 多 线程 编 
程 。 这 是 因为 NIO 编 程 涉及 到 Reactor 模 式 ， 你 必须 对 多 线程 和 网 路 编程 
非常 熟悉 ， 才 能 编写 出 高 质量 的 NIO 程 序 。 














(3) 可 笔 性 能 力 补 齐 ， 工 作 量 和 难度 都 非常 大 。 例 如 客户 端面 临 
上 肠 连 重 连 、 网 络 内 断 、 半 包 读 写 、 失 败 缓存 、 网 络 拥塞 和 异常 码 流 的 处 
理 等 问题 ，NIO 编 程 的 特点 是 功能 开发 相对 容易 ， 但 是 可 徘 性 能 力 补 齐 
的 工作 量 和 难度 都 非常 大 。 








(4) JDK “NIO 的 BUG， 例 如 具名 昭著 的 epoll ”bug， 它 会 导致 
Selector 空 轮 询 ， 最 终 导 致 CPU 100%。 官 方 声称 在 JDK1.6 版 本 的 
update18 修 复 了 该 问题 ， 但 是 直到 JDK1.7 版 本 该 问题 仍旧 存在 ， 只 不 过 
该 BUG 发 生 概 率 降 低 了 一 些 而 已 ， 它 并 没有 被 根本 解决 。 该 BUG 以 及 
与 该 BUG 相关 的 问题 单 可 以 参见 以 下 链接 内 容 。 


e http://bugs.java.com/bugdatabase/view_bug.do?bug_id=6403933 
e http://bugs.java.com/bugdatabase/view_bug.do?bug_id=2147719 
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java.lang.Thread.State: RUNNABLE 


at sun.nio.ch.EPollArrayWrapper.epollWait (Native Method) 


at sun.nio.ch.EPollArrayWrapper .poll(EPollArrayWrapper. java: 210) 


at sun.nio.ch.EPollSelectorImpl.doSelect(EPollSelectorImpl.java:6 


at sun.nio.ch.SelectorImpl.lockAndDoSelect (SelectorImpl.java:69) 


- locked <0x0000000750928190> (a sun.nio.ch.Util$2) 
- locked <0x00000007509281a8> (a java.util.Collection 
- locked <0x0000000750946098> (a sun.nio.ch.EPollSele 


at sun.nio.ch.SelectorImpl.select (SelectorImpl. java: 80) 


at net.spy.memcached.MemcachedConnection.handlelO(Mem 


at net.spy.memcached.MemcachedConnection.run(Memcache 





由 于 上 述 原因 ， 在 大 多 数 场景 下 ， 不 建议 大 家 直接 使 用 JDK 的 NIO 
类 库 ， 除 非 你 精通 NIO 编 程 或 者 有 特殊 的 需求 。 在 绝 大 多 数 的 业务 场景 
中 ， 我 们 可 以 使 用 NIO 框 架 Netty 来 进行 NIO 编 程 ， 它 既 可 以 作为 客户 端 
也 可 以 作为 服务 端 ， 同 时 支持 UDP 和 异步 文件 传输 ， 功 能 非常 强大 。 


下 个 小 节 我 们 就 看 看 为 什么 选择 Netty 作 为 基础 通信 框架 。 
2.6.2 ”为 什么 选择 Netty 


Netty 是 业界 最 流行 的 NIO 框 架 之 一 ， 它 的 健壮 性 、 功 能 、 人 性能、 可 





定制 性 和 可 扩展 性 在 同类 框架 中 都 是 首屈一指 的 ， 它 已 经 得 到 成 百 上 千 
的 商用 项 目 验 证 ， 例 如 Hadoop 的 RPC 框 架 avro 使 用 Netty 作 为 底层 通信 框 


架 ， 很 多 其 他 业界 主流 的 RPC 框 架 ， 也 使 用 Netty 来 构建 高 性 能 的 异步 通 
af. 


通过 对 Netty 的 分 析 ， 我 们 将 它 的 优点 总 结 如 下 。 


API 使 用 简单 ， 开 发 门 查 低 ; 
功能 强大 ， 预 置 了 多 种 编 解 码 功能 ， 支 持 多 种 主流 协议 ; 
定制 能 力 强 ， 可 以 通过 ChannelHandler 对 通信 框架 进行 灵活 地 扩 


性 能 高 ， 通 过 与 其 他 业界 主流 的 NIO 框 架 对 比 ，Netty 的 综合 性 能 最 
优 ; 

成 熟 、 稳 定 ，Netty 修 复 了 已经 发 现 的 所 有 JDK NIO BUG， 业 务 开 
发 人 员 不 需要 再 为 NIO 的 BUG 而 烦恼 ; 

社区 活跃 ， 版 本 迭代 周期 短 ， 发 现 的 BUG 可 以 被 及 时 修复 ， 同 时 ， 
更 多 的 新 功能 会 加 入 ; 

经 历 了 大 规模 的 商业 应 用 考验 ， 质 量 得 到 验证 。 在 互联 网 、 大 数 
据 、 网 络 游戏 、 企 业 应 用 、 电 信和 软件 等 众多 行业 得 到 成 功 商 用 ， 证 
明了 它 已 经 完全 能 够 满足 不 同行 业 的 商业 应 用 了 。 














正 是 因为 这 些 优 点 ，Netty 逐 渐 成 为 Java NIO 编 程 的 首选 框架 。 


2.7 总结 

本 章 通过 一 个 简单 的 demo 开 发 ， 即 时 间 服 务 器 程序 ， 让 大 家 熟悉 
传统 的 同步 阻塞 /JO、 伪 异步 WJO、 非 阻塞/O (NIO) 和 异步 WO CAIO) 
的 编程 和 使 用 差异 ， 然 后 对 比 了 各 目的 优 缺 点 ， 并 给 出 了 使 用 建议 。 


最 后 ， 我 们 详细 介绍 了 为 什么 不 建议 读者 朋友 们 直接 使 用 JDK 的 
NIO 原 生 类 库 进行 异步 WO 的 开发 ， 同 时 对 Netty 的 优点 进行 分 析 和 总 
结 ， 给 出 使 用 Netty 进 行 NIO 开 发 的 理由 。 














相信 学 完 本 章 之 后 ， 大 家 对 Java 的 网 络 编程 已 经 有 了 初步 的 认识 ， 
从 下 一 个 章节 开始 ， 我 们 正式 进入 Netty 的 世界 ， 学 习 和 掌握 基于 Netty 
的 网 络 开发 。 


Al lig Netty NIO 开 发 指南 


3% Nety IDA 
第 4 半 TCP 粘 包 / 拆 包 问 题 的 解决 之 道 


第 5 章 ”分 阳 符 和 定 长 解码 器 的 应 用 


第 3 章 ”Netty 入 门 应 用 


作为 Netty 的 第 一 个 应 用 程序 ， 我 们 依然 以 第 2 章 的 时 间 服 务 器 为 例 
进行 开 肥 ， 通 过 Netty 版 本 的 时 间 服 务 器 的 开 及 ， 让 初学 者 尽快 学 到 如 
何 搭建 Netty 开 发 环境 和 运行 Netty 应 用 程序 。 





如 果 你 已 经 熟悉 Netty 的 基础 应 用 ， 可 以 路 过 本 章 ， 继 续 后 面 知 识 
的 学 习 。 


本 章 主 要 内 容 包括 : 


。 Netty 开 发 环境 的 搭建 

。 服务 端 程序 TimeServer 开 发 
e Zt P Wf TimeClienOT /x 
。 时 间 服 务 器 的 运行 和 调试 


3.1 Netty 开 友 环 境 的 搭建 


首先 假设 你 已 经 在 本 机 安装 了 JDK1.7， 配 置 了 JDK 的 环境 变量 
path， 同 时 下 载 并 正确 启动 了 IDE 工 具 Eclipse。 如 果 你 是 个 Java 初 学 者 ， 
从 来 没有 在 本 机 搭建 过 Java 开 发 环境 ， 建 议 你 先 选择 一 本 Java 基 础 入 门 
的 书籍 或 者 课程 进行 学 习 。 





假如 你 习惯 于 使 用 其 他 IDE 工 具 进 行 Java 开 发 ， 例 如 NetBeans 
IDE， 也 可 以 运行 本 节 的 入 门 例 程 。 但 是 ， 你 需要 根据 自己 实际 使 用 的 
IDE 进 行 对 应 的 配置 修改 和 调整 ， 本 书 统一 使 用 eclipse-jee-kepler-SR1- 
win32 作 为 Java 开 发 工具 。 








下 面 我 们 开始 学 习 如 何 搭建 Netty 的 开发 环境 。 


3.1.1 下 载 Netty 的 软件 包 





访问 Netty 的 官网 http://netty.io/， 从 【Downloads】 标 签 页 选择 下 载 
5.0.0.Alphal 安 装 包 ， 安 装 包 不 大 ，8.95M 左 右 ， 下 载 之 后 的 安装 包 如 图 
3-1 所 示 o 








图 3-1 Netty 5.0 压 缩 包 
通过 解压 缩 工 具 打 开 压 缩 包 ， 目 录 如 图 3-2 所 示 。 


图 3-2 Netty 5.0 压 缩 包 内 部 目录 





这 时 会 发 现 里 面包 含 了 各 个 模块 的 .jar 包 和 源码 ， 由 于 我 们 直接 以 
二 进 制 类 库 的 方式 使 用 Netty， 上 所 以 只 需要 获取 netty-all-5.0.0.Alphal.jar 
HD nf. 





3.1.2 ”搭建 Netty 应 用 工程 


使 用 Eclipse 创建 普通 的 Java 工 程 ， 同 时 创建 Java 源 文件 的 package， 
如 图 3-3 所 示 。 





图 3-3 Netty FA TL f 


创建 第 三 方 类 库存 放 文 件 夹 lib， 同 时 将 netty-all-5.0.0.Aljphal.jar 复 
制 到 lib 目 录 下 ， 如 图 3-4 所 示 。 




















图 3-4 配置 引用 的 netty jar 包 





右键 单 击 netty-all-5.0.0.Alphal.jar， 在 弹出 的 菜单 中 ， 选 择 将 .jar 包 
添加 到 Build Path 中 ， 操 作 如 图 3-5 所 示 。 





图 3-5 ”将 Netty.jar 包 添加 到 ClassPath 中 


到 此 结束 ， 我 们 的 Netty 应 用 开发 环境 已 经 搭建 完成 ， 下 面 的 小 节 
将 演示 如 何 基 于 Netty 开 发 时 间 服 务 器 程序 。 


3.2 Netty vin FFA 


作为 第 一 个 Netty 的 应 用 例 程 ， 为 了 让 读者 能 够 将 精力 集中 在 Netty 
的 使 用 上 ， 我 们 依然 选择 第 2 章 的 时 间 服 务 圳 为 例 进行 源码 开发 和 代码 
讲解 。 


TimeServer 开 发 


在 开始 使 用 Netty 开 发 TimeServer 之 前 ， 先 回顾 一 下 使 用 NIO 进 行 服 
务 端 开 发 的 步骤 。 


(1) 创建 ServerSocketChannel， 配 置 它 为 非 阻 塞 模式 ; 
(2) 绑 定 监听 ， 配 置 TCP 参 数 ， 例 如 backlog 大 小 ; 
(3) 创建 一 个 独立 的 VO 线程 ， 用 于 轮 询 多 路 复 用 器 Selector; 


(4) 创建 Selector， 将 之 前 创建 的 ServerSocketChannel 注 册 到 
Selector 上 ， 监 听 SelectionKey.ACCEPT; 


(5) 启动 O 线 程 ， 在 循环 体 中 执行 Selector.select(0) 方 法 ， 轮 询 就 
2 TJ Channel; 


(6) 当 轮 询 到 了 处 于 就 绪 状 态 的 Channel 时 ， 需 要 对 其 进行 判断 ， 
如 果 是 OP_ACCEPT 状 态 ， 说 明 是 新 的 客户 端 接 入 ， 则 调用 
ServerSocketChannel.acceptO 方 法 接受 新 的 客户 端 ; 


C 设置 新 接 入 的 客户 端 链 路 SocketChanne] 为 非 阻 塞 模式 ， 配 置 
其 他 的 一 些 TCP 人 参数; 


(8) 将 SocketChannel 注 册 到 Selector， 监 听 OP_READ 操 作 位 ; 


(9) 如 果 轮 询 的 Channel 为 OP READ， 则 说 明 SocketChannel 中 有 
新 的 就 绪 的 数据 包 需 要 读 取 ， 则 构造 ByteBuffer 对 象 ， 读 取 数 据 包 ; 


(10) 如 果 轮 询 的 Channel 为 OP WRITE， 说 明 还 有 数据 没有 发 送 
完成 ， 需 要 继续 发 送 。 


一 个 简单 的 NIO 服 务 端 程序 ， 如 果 我 们 直接 使 用 JDK 的 NIO 类 库 进 
行 开 发 ， 竟 然 需 要 经 过 烦琐 的 十 多 步 操 作 才 能 完成 最 基本 的 消息 读 取 和 
发 送 ， 这 也 是 我 们 要 选择 Netty 等 NIO 框 架 的 原因 了 ， 下 面 我 们 看 看 使 用 
Netty 是 如 何 轻松 搞定 服务 端 开 发 的 。 








代码 清单 3-1 Netty 时 间 服 务 堪 服务 端 TimeServer 

















16. public class TimeServer { 

17. 

18. public void bind(int port) throws Exception { 

19. // 配置 服务 端的 NIO 线 程 组 

20. EventLoopGroup bossGroup = new NioEventLoopGroup(); 
21. EventLoopGroup workerGroup = new NioEventLoopGroup( 
22, try { 

23. ServerBootstrap b = new ServerBootstrap(); 

24. b.group(bossGroup, workerGroup) 

25; .channel(NioServerSocketChannel.class) 

26. .option(ChannelOption.SO_BACKLOG, 1024) 

27. .childHandler(new ChildChannelHandler()); 





28. // 绑 定 端口 ， 同 步 等 待 成 功 


29. 
30. 
31. 
82. 
33. 
34. 
35. 
36. 
37. 
38. 
39. 
40. 
41. 
42. 
43. 
44. 
45. 
46. 
47. 
48. 
49. 
50. 
51. 
52. 
53. 
54. 
55, 


ChannelFuture f - b.bind(port).sync(); 


// 等 待 服务 端 监 听 端 口 关闭 

f.channel().closeFuture().sync(); 
) finally { 

// 优雅 退出 ， 释 放 线 程 池 资源 

bossGroup.shutdownGracefully(); 





workerGroup.shutdownGracefully(); 


private class ChildChannelHandler extends ChannelIn 
QOverride 
protected void initChannel(SocketChannel arg0) thro 


argO.pipeline().addLast(new TimeServerHandler() 


Jee 
* @param args 
* @throws Exception 
*/ 
public static void main(String[] args) throws Excep 
int port = 8080; 
if (args != null && args.length > 0) { 


try { 


56 . port = Integer.valueOf(args[0]); 





5T. ) catch (NumberFormatException e) { 
58. // 采用 默认 值 

59, } 

60. } 

61. new TimeServer().bind(port); 

62. } 

63. } 





由 于 本 章 的 重点 是 讲解 Netty 的 应 用 开发 ， 所 以 对 于 一 些 Netty 的 类 
库 和 用 法 仅仅 做 基础 性 的 讲解 ， 我 们 从 黑 盒 的 角度 理解 这 些 概念 即 可 。 
后 续 源码 分 析 章 节 会 专门 对 Netty 核 心 的 类 库 和 功能 进行 分 析 ， 感 兴趣 
的 同学 可 以 跳 到 源码 分 析 章 节 进行 后 续 的 学 习 。 


我 们 从 bind 方 法 开始 学 习 ， 在 代码 第 20 一 21 行 创建 了 两 个 
NioEventLoopGroup 实 例 。NioEventLoopGroup 是 个 线程 组 ， 它 包含 了 一 
组 NIO 线 程 ， 专 门 用 于 网 络 事 件 的 处 理 ， 实 际 上 它们 就 是 Reactor 线 程 
组 。 这 里 创建 两 个 的 原因 是 一 个 用 于 服务 端 接受 客户 端的 连接 ， 另 一 个 
用 于 进行 SocketChannel 的 网 络 读 写 。 第 23 行 我 们 创建 ServerBootstrap 对 
象 ， 它 是 Netty 用 于 启动 NIO 服 务 端的 辅助 启动 类 ， 目 的 是 降低 服务 端的 
开发 复杂 度 。 第 24 行 调用 ServerBootstrap 的 group 方 法 ， 将 两 个 NIO 线 程 
组 当 作 入 参 传 递 到 ServerBootstrap 中 。 接 着 设置 创建 的 Channel 为 
NioServerSocketChannel， 它 的 功能 对 应 于 JDK NIO 类 库 中 的 
ServerSocketChannel 类 。 人 然后 配置 NioServerSocketChannel 的 TCP 参 数 ， 
此 处 将 它 的 backlog 设 置 为 1024， 最 后 绑 定 IO 事件 的 处 理 类 
ChildChannelHandler， 它 的 作用 类 似 于 Reactor 模 式 中 的 handler 类 ， 主 要 
用 于 处 理 网 络 JO 事 件 ， 例 如 记录 日 志 、 对 消息 进行 编 解 码 等 。 








服务 问 启 动 辅助 类 配置 完成 之 后 ， 调 用 它 的 bind 方 法 绑 定 监听 端 
口 ， 随 后 ， 调 用 它 的 同步 阻塞 方法 Sync 等待 绑 定 操作 完成 。 完 成 之 后 
Netty 会 返回 一 个 ChannelFuture， 它 的 功能 类 似 于 JDK 的 
java.util.concurrent.Future， 主 要 用 于 异步 操作 的 通知 回调 。 





第 32 行 使 用 f.channel0.closeFuture0.sync0) 方 法 进行 阻塞 ， 等 竺 服务 
疹 链 路 关闭 之 后 main 函 数 才 退 出 。 


第 34 一 36 行 调用 NIO 线 程 组 的 shutdownGracefully 进 行 优雅 退出 ， 它 
会 释放 跟 shutdownGracefully 相 关联 的 资源 。 


下 面 看 看 TimeServerHandler 类 是 如 何 实 现 的 。 


代码 清单 3-2 ”Netty 时 间 服 务 器 服务 端 TimeServerHandler 





12. public class TimeServerHandler extends ChannelHandlerAd 
13. 

14. @Override 

15. public void channelRead(ChannelHandlerContext ctx, 
16. throws Exception { 

17. ByteBuf buf = (ByteBuf) msg; 

18. byte[] req = new byte[buf.readableBytes()]; 

19. buf .readBytes(req); 

20. String body = new String(req, "UTF-8"); 

21. System.out.println("The time server receive order : 
22. String currentTime = "QUERY TIME ORDER".equalsIgnor 
23. System.currentTimeMillis()).toString() : "BAD O 


24. ByteBuf resp - Unpooled.copiedBuffer(currentTime.ge 


25. ctx.write(resp); 


26. } 

27. 

28. @Override 

29. public void channelReadComplete(ChannelHandlerConte 
30. ctx.flush(); 

31. } 

32. 

33. @Override 

34. public void exceptionCaught(ChannelHandlerContext c 
35. ctx.close(); 

36. } 

37. } 





TimeServerHandler 继 承 自 ChannelHandlerAdapter， 它 用 于 对 网 络 事 
件 进行 读 写 操作 ， 通 常 我 们 只 需要 关注 channelRead 和 exceptionCaught 方 
法 。 下 面 对 这 两 个 方法 进行 简单 说 明 。 


第 17 行 做 类 型 转换 ， 将 msg 转 换 成 Netty 的 ByteBuf 对 象 。ByteBuf 类 
似 于 JDK 中 的 java.nio.ByteBuffer 对 象 ， 不 过 它 提 供 了 更 加 强大 和 灵活 的 
功能 。 通 过 ByteBuf 的 readableBytes 方 法 可 以 获取 缓冲 区 可 读 的 字 节 数 ， 
根据 可 读 的 字 节 数 创建 byte 数 组 ， 通 过 ByteBuf i readBytes 方 法 将 缓冲 区 
中 的 字 节 数组 复制 到 新 建 的 byte 数 组 中 ， 最 后 通过 new String is px DOCH 





取 请 求 消息 。 这 时 对 请 Ae 息 进行 判断 ， 如 果 是 "QUERY TIME 
ORDER" 则 创建 应 答 消 息 ， 通 过 ChannelHandlerContext 的 write 方法 异步 


发 送 应 答 消息 给 客户 端 。 


第 30 行 我 们 发 现 还 调用 了 ChannelHandlerContext 的 flush 方 法 ， 它 的 
作用 是 将 消息 发 送 队 列 中 的 消息 写 入 到 SocketChannel 中 发 送 给 对 方 。 从 
性 能 角度 考虑 ， 为 了 防止 频繁 地 唤醒 Selector 进 行 消息 发 送 ，Netty 的 
write 方法 并 不 直接 将 消息 写 入 SocketChannel 中 ， 调 用 write 方法 只 是 把 待 
发 送 的 消息 放 到 发 送 缓冲 数组 中 ， 再 通过 调用 flush 方 法 ， 将 发 送 缓冲 区 
中 的 消息 全 部 写 到 SocketChannel 中 。 








第 35 行 ， 当 发 生 异 常 时 ， 关 闭 ChannelHandlerContext， 释 放 和 
ChannelHandlerContext 相 关联 的 句柄 等 资源 。 


通过 对 代码 进行 统计 分 析 可 以 看 出 ， 不 到 30 行 的 业务 逻辑 代码 ， 即 
完成 了 NIO 服 务 端 的 开发 ， 相 比 于 传统 基于 JDK ”NIO 原 生 类 库 的 服务 
端 ， 代 码 量 大 大 减少 ， 开 发 难度 也 降低 了 很 多 。 


下 面 我 们 继续 学 习 客户 端的 开发 ， 并 使 用 Netty 改 造 TimeClient。 


3.3 Netty% F mT X 


Netty 客 户 端的 开发 相 比 于 服务 端 更 简单 ， 下 面 我 们 就 看 下 客户 端 
的 代码 如 何 实现 。 


TimeClient/t /z 


代码 清单 3-3 Netty} [TH] AS a 77 9m TimeClient 





16. public class TimeClient { 

















17. 

18. public void connect(int port, String host) throws E 
19. // 配置 客户 端 NIO 线 程 组 

20; EventLoopGroup group = new NioEventLoopGroup(); 

21. try { 

22. Bootstrap b = new Bootstrap(); 

23; b.group(group).channel(NioSocketChannel.class) 
24. .option(ChannelOption.TCP_NODELAY, true) 
25. .handler(new ChannelInitializer<SocketChann 
26. @Override 

27. public void initChannel(SocketChannel ch) 
28. throws Exception { 

29. ch.pipeline().addLast(new TimeClientHan 
30. } 

31. 3); 


32. 


// 发 起 异步 连接 操作 


ChannelFuture f = b.connect(host, port).sync(); 





// 等 待 客户 端 链 路 关闭 

f.channel().closeFuture().sync(); 
} finally { 

// 优雅 退出 ， 释 放 NIO 线 程 组 

group.shutdownGracefully(); 





/** 
* @param args 
* @throws Exception 
“2 
public static void main(String[] args) throws Excep 
int port = 8080; 
if (args != null && args.length > 0) { 
try { 
port = Integer.valueOf(args[0]); 
} catch (NumberFormatException e) { 
// 采用 默认 值 
} 





} 
new TimeClient().connect(port, "127.0.0.1"); 


} 





我 们 从 connect 方 法 讲 起 ， 在 第 20 行 首先 创建 客户 端 处 理 MO 读 写 的 
NioEventLoop Group 线程 组 ， 然 后 继续 创建 客户 端 辅助 司 动 类 
Bootstrap， 随 后 需要 对 其 进行 配置 。 与 服务 端 不 同 的 是 ， 它 的 Channel 
需要 设置 为 NioSocketChannel， 人 然后 为 其 添加 handler， 此 处 为 了 简单 直 
接 创建 匿名 内 部 类 ， 实 现 initChannel 方 法 ， 其 作用 是 当 创 建 
NioSocketChannel 成 功 之 后 ， 在 初始 化 它 的 时 候 将 它 的 ChannelHandler 设 
置 到 ChannelPipeline 中 ， 用 于 处 理 网 络 /O 事 件 。 


客户 端 启动 辅助 类 设置 完成 之 后 ， 调 用 connect 方 法 发 起 异步 连接 ， 
然后 调用 同步 方法 等 待 连接 成 功 。 








最 后 ， 当 客户 端 连接 关闭 之 后 ， 客 户 逆 主 函 数 退 出 ， 在 退出 之 前 ， 
释放 NIO 线 程 组 的 资源 。 


下 面 我 们 继续 看 下 TimeClientHandler 的 代码 如 何 实现 。 


代码 清单 3-4 ”Netty 时 间 服 务 器 客户 端 TimeClientHandler 





14. public class TimeClientHandler extends ChannelHandlerAd 
15. 

16. private static final Logger logger = Logger 

17. .getLogger (TimeClientHandler.class.getName()); 
18. 

19. private final ByteBuf firstMessage; 

20. 

21. fue 


22. * Creates a client-side handler. 


23. 
24. 
25, 
26. 
27. 
28. 
29. 
30. 
31. 
32, 
83; 
34. 
35. 
36. 
37, 
38. 
39. 
40. 
41. 
42. 
43. 
44. 
45. 
46. 
47. 
48. 
49. 


un 
public TimeClientHandler() { 
byte[] req = "QUERY TIME ORDER".getBytes(); 
firstMessage - Unpooled.buffer(req.length); 


firstMessage.writeBytes(req); 


QOverride 
public void channelActive(ChannelHandlerContext ctx 


ctx.writeAndFlush(firstMessage); 


j 


QOverride 

public void channelRead(ChannelHandlerContext ctx, 
throws Exception { 

ByteBuf buf - (ByteBuf) msg; 

byte[] req = new byte[buf.readableBytes()]; 

buf.readBytes(req); 

String body - new String(req, "UTF-8"); 

System.out.println("Now is : " + body); 


j 


QOverride 
public void exceptionCaught(ChannelHandlerContext c 
// 释放 资源 


logger .warning("Unexpected exception from downstrea 


50. + cause.getMessage()); 


51. ctx.close(); 
52. } 
53. } 





这 里 重点 关注 三 个 方法 : channelActive、channelRead 和 
exceptionCaught。 当 客户 端 和 服务 并 TCP 链 路 建 并 成 功 之 后 ，Netty 的 
NIO 线 程 会 调用 channelActive 方 法 ， 发 送 查 询 时 间 的 指令 给 服务 端 ， 调 
用 ChannelHandlerContext 的 writeAndFlush 方 法 将 请 求 消息 发 送 给 服务 
Yo 

当 服 务 端 返回 应 答 消 息 时 ，channelRead 方 法 被 调用 ， 第 39 一 43 行 从 
Netty 的 ByteBuf 中 该 取 并 打印 应 答 消 息 。 


第 47 一 52 行 ， 当 发 生 寞 常 时 ， 打 印 腊 常 日 志 ， 释 放 客 户 端 资源 。 


3.4 运行 和 调试 
3.4.1 服务 端 和 客户 端的 运行 


在 Eclipse 开 发 环境 中 运行 和 调试 Java 程 序 非常 简单 ， 下 面 我 们 看 下 
如 何 运 行 TimeServer: 将 光标 定位 到 TimeServer 类 中 ， 单 击 右 键 ， 在 弹 
出 羔 单 中 选择 Run As > Java Application， 或 者 直接 使 用 快捷 键 


Alt+Shift+X 执 行 ， 如 图 3-6 所 示 。 
图 3-6 ”运行 TimeServer 
客户 端的 执行 类 似 ， 可 以 看 到 以 下 执行 结 
服务 端 运行 结果 如 图 3-7 所 示 。 
图 3-7 TimeServer 运 行 结果 
客户 端 运 行 结果 如 图 3-8 所 示 。 


图 3-8 TimeClient 运 行 结果 








运行 结果 正确 。 可 以 发 现 ， 通 过 Netty 开 发 的 NIO 服 务 端 和 客户 端 非 
常 简 单 ， 短 短 几 十 行 代码 ， 束 能 完成 之 前 NIO 程 序 需 要 几 百 行 才能 完成 
的 功能 。 基 于 Netty 的 应 用 开发 不 但 API 使 用 简单 、 开 发 模式 固定 ， 而 且 
扩展 性 和 定制 性 非常 好 ， 后 面 ， 我 们 会 通过 更 多 应 用 来 介绍 Netty 的 强 
大 功能 。 

需要 指出 的 是 ， 本 例 程 依然 没有 考虑 读 半 包 的 处 理 ， 对 于 功能 演示 
或 者 测试 ， 上 述 程序 没有 问题 ， 但 是 稍 加 改造 进行 性 能 或 者 压力 测试 ， 











它 就 不 能 正确 地 工作 了 。 在 下 一 个 章节 我 们 会 给 出 能 够 正确 处 理 半 包 消 
恩 的 应 用 实例 。 
3.4.2 FRAME 

基于 Netty 开 发 的 都 是 非 Web 的 Java 应 用 ， 它 的 打包 形态 非常 简单 ， 
就 是 一 个 普通 的 .jar 包 ， 通 常情 况 下 ， 在 正式 的 商业 开发 中 ， 我 们 会 使 
用 三 种 打包 方式 对 源码 进行 打包 : 

(1) Eclipse 提供 的 导出 功能 。 它 可 以 将 指定 的 Java 工 程 或 者 源码 


包 、 代 码 输出 成 指定 的 jar 包 ， 它 属于 手工 操作 ， 当 项 目 模 块 多 之 后 非 
常 不 方便 ， 所 以 一 般 不 使 用 这 种 方式 ; 





(2) 使 用 ant 脚 本 对 工程 进行 打包 。 将 Netty 的 应 用 程序 打包 成 指定 
的 .jar 包 ， 一 般 会 输出 一 个 软件 安装 包 : xxxx_install.gz; 


(3) 使 用 Maven 进 行 工 程 构建 。 它 可 以 对 模块 间 的 依赖 进行 管 
理 ， 文 持 版 本 的 目 动 化 测试 、 编 译 和 构建 ， 是 目前 主流 的 项 目 管理 工 
A, 


AN 
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本 章节 讲解 了 Netty 的 入 门 应 用 ， 通 过 使 用 Netty 重 构 时 间 服 务 器 程 
序 ， 可 以 发 现 相 比 于 传统 的 NIO 程 序 ，Netty 的 代码 更 加 简洁 、 开 发 难度 
更 低 ， 扩 展 性 也 更 好 ， 非 常 适合 作为 基础 通信 框架 被 用 户 集成 和 使 用 。 


在 介绍 Netty 服 务 端 和 客户 端 时 ， 简 单 地 对 代码 进行 了 讲解 ， 由 于 
后 续 会 有 专门 间 市 对 Netty 进 行 源码 分 析 ， 所 以 在 Netty 应 用 部 分 我 们 不 
进行 详细 的 源码 解读 和 分 析 。 








第 4 章 会 讲解 一 个 各 微 复杂 的 应 用 ， 它 利用 Netty 提 供 的 默认 编 解码 
功能 解决 了 我 们 之 前 没有 解决 的 读 半 包 问 题 。 事 实 上 ， 对 于 读 半 包 问 
题 ，Netty 提 供 了 很 多 种 好 的 解决 方 采 。 下 面 一 起 学 习 一 下 如 何 利用 
Netty 默 认 的 编 解 码 功能 解决 半 包 读 取 问题 。 


KA A4 œE Wz > H TI > 
第 4 章 TCP 精 包 / 拆 包 问题 的 解决 
之 道 

熟悉 TCP 编 程 的 读者 可 能 都 知道 ， 无 论 是 服务 端 还 是 客户 端 ， 当 我 
们 读 取 或 者 发 送 消息 的 时 候 ， 都 需要 考虑 TCP 底 层 的 粘 包 / 拆 包 机 制 。 本 
章 开 始 我 们 先 简 单 介 绍 TCP 粘 包 / 拆 包 的 基础 知识 ， 然 后 模拟 一 个 没有 考 


虑 TCP 粘 包 / 拆 包 导致 功能 异常 的 案例 ， 最 后 ， 通 过 正确 例 程 来 探讨 
Netty 是 如 何 解决 这 个 问题 的 。 


如 果 你 已 经 熟悉 了 TCP 粘 包 和 拆 包 的 相关 知识 ， 建 议 你 直接 跳 到 代 
码 讲解 小 节 ， 看 Netty 是 如 何 解决 这 个 问题 的 。 


本 章 主 要 内 容 包括 : 


。 TCP 粘 包 / 拆 包 的 基础 知识 
。 没 考虑 TCP 粘 包 / 拆 包 的 问题 案例 
e. 使 用 Netty 解 决 读 半 包 问 题 
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TCP iii" iM, MMAM. BETA AR 3S. KARAT A 
想 想 河 里 的 流水 ， 是 连 成 一 片 的 ， 其 间 并 没有 分 界线 。TCP 底 层 并 不 了 
解 上 层 业 务 数据 的 具体 含义 ， 它 会 根据 TCP 绥 冲 区 的 实际 情况 进行 包 的 
划分 ， 所 以 在 业务 上 认为 ， 一 个 完整 的 包 可 能 会 被 TCP 拆 分 成 多 个 包 进 
行 发 送 ， 也 有 可 能 把 多 个 小 的 包 封装 成 一 个 大 的 数据 包 发 送 ， 这 就 是 所 
请 的 TCP 粘 包 和 拆 包 问题 。 


4.1.1 TCP 粘 包 / 拆 包 问 题 说 明 


我 们 可 以 通过 图 解 对 TCP 粘 包 和 拆 包 问题 进行 说 明 ， 粘 包 问 题 示 例 
如 图 4-1 所 示 。 





图 4-1 TCP 粘 包 / 拆 包 问 题 


假设 客户 端 分别 发 送 了 两 个 数据 包 D1 和 D2 给 服务 器 ， 由 于 服务 端 
一 次 读 取 到 的 字 节 数 是 不 确定 的 ， 故 可 能 存在 以 下 4 种 情况 。 


C1) 服务 端 分 两 次 读 取 到 了 两 个 独立 的 数据 包 ， 分 别 是 D1 和 D2， 
BA Ta LAD EL; 


(2) 服务 端 一 次 接收 到 了 两 个 数据 包 ，D1 和 D2 粘 合 在 一 起 ， 补 称 
为 TCP 粘 包 ; 


(3) 服务 端 分 两 次 读 取 到 了 两 个 数据 包 ， 第 一 次 读 取 到 了 完整 的 
D1 包 和 D2 包 的 部 分 内 容 ， 第 二 次 读 取 到 了 D2 包 的 剩余 内 容 ， 这 被 称 为 
TCP 拆 包 ; 


(4) 服务 端 分 两 次 读 取 到 了 两 个 数据 包 ， 第 一 次 读 取 到 了 D1 包 的 
部 分 内 容 D1_ 1， 第 二 次 读 取 到 了 D1 包 的 剩余 内 容 D1 2 和 D2 包 的 整 包 。 


如 采 此 时 服务 端 TCP 接 收 滑 寄 非常 小 ， 而 数据 包 D1 和 D2 比 较 大 ， 
很 有 可 能 会 发 生 人 第 五 种 可 能 ， 即 服务 端 分 多 次 才能 将 D1 和 D2 包 接收 完 
全 ， 期 间 发 生 多 次 拆 包 。 


4.1.2 TCP EARE RE KJE l 
问题 产生 的 原因 有 三 个 ， 分 别 如 下 。 
(1) 应 用 程序 write 写 入 的 字 节 大 小 大 于 套 接口 发 送 缓冲 区 大 小 ; 
(2) 进行 MSS 大 小 的 TCP 分 段 ; 
(3) 以 太 网 帧 的 payload 大 于 MTU 进 行 IP 分 片 。 


图 解 如 图 4-2 所 示 。 





图 4-2 ICP 粘 包 / 拆 包 问 题 原 





H 





4.1.3” 烙 包 问题 的 解决 策略 


由 于 底层 的 TCP 无 法 理解 上 层 的 业务 数据 ， 所 以 在 抵 层 是 无 法 保证 
数据 包 不 被 拆 分 和 重组 的 ， 这 个 问题 只 能 通过 上 层 的 应 用 协议 栈 设 计 来 
解决 ， 根 据 业界 的 主流 协议 的 解决 方案 ， 可 以 归纳 如 下 。 








COD 消息 定 长 ， 例 如 每 个 报 文 的 大 小 为 固定 长 度 200 字 节 ， 如 果 不 
够 ， 空 位 补 空格 ; 


(2) 在 包 尾 增加 回 车 换行 符 进行 分 割 ， 例 如 FTP 协 议 ; 





C30 RHR AT ZAHIB ESSARY, HEEL eS ROBE IRSE 
(或 者 消息 体 长 度 ) NR UAT CTT ER ATE SKA N x BC HH 
int3220 zT 4 BH JE s 





(4) 更 复杂 的 应 用 层 协议 。 





介绍 完了 TCP 粘 包 / 拆 包 的 基础 知识 ， 下 面 我 们 就 通过 实际 例 程 来 看 
看 如 何 使 用 Netty 提 供 的 半 包 解码 器 来 解决 TCP 粘 包 / 拆 包 问 题 。 


42 未 考虑 TCP 粘 包 导 致 功能 开 币 案例 


在 前 面 的 时 间 服 务 器 例 程 中 ， 我 们 多 次 强调 并 没有 考虑 读 半 包 问 
题 ， 这 在 功能 测试 时 往往 没有 问题 ， 但 是 一 旦 压力 上 来 ， 或 者 发 送 大 报 
文 之 后 ， 就 会 存在 粘 包 / 拆 包 问 题 。 如 果 代 码 没 有 考虑 ， 往 往 就 会 出 现 
解码 错位 或 者 错误 ， 导 致 程序 不 能 正常 工作 。 下 面 我 们 以 3.1 节 的 代码 
为 例 ， 模 拟 故 障 场景 ， 然 后 看 看 如 何 正 确 使 用 Netty 的 半 包 解码 器 来 解 
决 TCP 粘 包 / 拆 包 问 题 。 











4.2.1 TimeServer 的 改造 


代码 清单 4-1 Netty 时 间 服 务 器 服务 端 TimeServerHandler 





12. public class TimeServerHandler extends ChannelHandlerAdapt 


13. 

14. private int counter; 

15. 

16. @Override 

17. public void channelRead(ChannelHandlerContext ctx, Ob: 
18. throws Exception { 

19. ByteBuf buf = (ByteBuf) msg; 

20. byte[] req = new byte[buf.readableBytes()]; 

21. buf .readBytes(req); 

22. String body = new String(reg, "UTF-8").substring(0, re 
23. - System.getProperty("line.separator").length()); 


24. System.out.println("The time server receive order : " 


+ " ; the counter is : " + ++counter); 
String currentTime = "QUERY TIME ORDER" .equalsIgnoreCé 
System.currentTimeMillis()).toString() : "BAD ORDE 
currentTime = currentTime + System.getProperty("line.: 
ByteBuf resp = Unpooled.copiedBuffer(currentTime.getB\ 


ctx.writeAndFlush(resp); 


} 


@Override 
public void exceptionCaught(ChannelHandlerContext ctx, 


ctx.close(); 


} 





每 读 到 一 条 消息 后 ， 就 计 一 次 数 ， 然 后 发 送 应 答 消 息 给 客户 端 。 按 
照 设 计 ， 服 务 端 接收 到 的 消息 总 数 应 该 跟 客户 端 发 送 的 消息 总 数 相 同 ， 
而 且 请 求 消息 删除 回 车 换行 符 后 应 该 为 "QUERY TIME ORDER". Fifi 
我 们 继续 看 下 客户 端的 改造 。 


42.2 TimeClient 的 改造 


代码 清单 4-2 Netty la] ARS 48% "m TimeClientHandler 





14. public class TimeClientHandler extends ChannelHandlerAdapt 


19, 
16. 
17. 


private static final Logger logger = Logger 


.getLogger(TimeClientHandler.class.getName()); 


18. 
19. 
20. 
21. 
22. 
23. 
24. 
25; 
26. 
27. 
28. 
29. 
30. 
31. 
32. 
33. 


34. 


35. 


private int counter; 


private byte[] req; 


yas em 


* Creates a client-side handler. 


*/ 


public TimeClientHandler() { 


req = ("QUERY TIME ORDER" + System.getProperty("line.separ 


.getBytes(); 


3 


@Override 


public void channelActive(ChannelHandlerContext ctx) { 


ByteBuf message = null; 


for (int i 


message 


0; i < 100; i++) ( 


Unpooled.buffer(req.length); 


36. 


37. 


38. 


39. 
49. 
41. 
42. 
43. 
44. 
45. 
46. 
47. 
48. 


49. 


message.writeBytes(req); 


ctx.writeAndFlush(message); 


@Override 


public void channelRead(ChannelHandlerContext ctx, Obje 


throws Exception { 
ByteBuf buf = (ByteBuf) msg; 
byte[] req = new byte[buf.readableBytes()]; 
buf .readBytes(req); 
String body = new String(req, "UTF-8"); 


System.out.println("Now is : " + body + " ; 


+ ++counter); 


the counter 


I: 


50. } 


51. 
52. @Override 
53: public void exceptionCaught(ChannelHandlerContext ctx, 


54. // 释放 资源 

55. logger.warning("Unexpected exception from downstream : " 
56. + cause.getMessage()); 

57. ctx.close(); 

58. } 


59. } 





主要 的 修改 点 就 是 代码 33 一 38 行 ， 客 户 端 跟 服务 端 链 路 建立 成 功 之 
后 ， 循 环 发 送 100 条 消息 ， 每 发 送 一 条 就 刷新 一 次 ， 保 证 每 条 消息 都 会 
被 写 入 Channel 中 。 按 照 我 们 的 设计 ， 服 务 问 应 该 接收 到 100 条 和 查询 时 间 
引信 的 请 求 消息 。 

















第 48 一 49 行 ， 客 户 端 每 接收 到 服务 闪 一 条 应 答 消 轧 之 后 ， 就 打印 一 
次 计数 器 。 按 照 设 计 初 衷 ， 客 户 端 应 该 打印 100 次 服务 端的 系统 时 间 。 





下 面 的 小 节 束 来 看 下 运行 结果 是 否 符合 设计 初衷。 





分 别 执 行 服务 器 和 客户 端 ， 运 行 结果 如 下 。 
服务 端 运行 结果 如 下 。 


A 


The time server receive order : QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 


QUERY 
QUERY 
QUERY 
QUERY 
QUERY 
QUERY 
QUERY 
QUERY 
QUERY 
QUERY 
QUERY 
QUERY 
QUERY 
QUERY 
QUERY 
QUERY 
QUERY 
QUERY 
QUERY 
QUERY 
QUERY 
QUERY 
QUERY 
QUERY 
QUERY 
QUERY 
QUERY 


TIME 


TIME 


TIME 


TIME 


TIME 


TIME 


TIME 


TIME 


TIME 


TIME 


TIME 


TIME 


TIME 


TIME 


TIME 


TIME 


TIME 


TIME 


TIME 


TIME 


TIME 


TIME 


TIME 


TIME 


TIME 


TIME 


TIME 


ORDER 
ORDER 
ORDER 
ORDER 
ORDER 
ORDER 
ORDER 
ORDER 
ORDER 
ORDER 
ORDER 
ORDER 
ORDER 
ORDER 
ORDER 
ORDER 
ORDER 
ORDER 
ORDER 
ORDER 
ORDER 
ORDER 
ORDER 
ORDER 
ORDER 
ORDER 
ORDER 


QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORD ; the counter is 
The time server receive order 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 


QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 
QUERY TIME ORDER 


QUERY TIME ORDER ; the counter is : 2 





服务 端 运行 结果 表明 它 只 接收 到 了 两 条 消息 ， 第 一 条 包含 57 
条 “QUERY TIME ORDER” 指 令 ， 第 二 条 包含 了 43 条 “QUERY TIME 
ORDER” 指 令 ， 总 数 正好 是 100 条 。 我 们 期 待 的 是 收 到 100 条 消息 ， 每 条 
包含 一 条 “QUERY TIME ORDER 指令 。 这 说 明 发 生 了 TCP 粘 包 。 











Now is : BAD ORDER 
BAD ORDER 


; the counter is : 1 








按照 设计 初衷 ， 客 户 端 应 该 收 到 100 条 当前 系统 时 间 的 消息 ， 但 实 
际 上 只 收 到 了 一 条 。 这 不 难 理解 ， 因 为 服务 端 只 收 到 了 2 条 请 求 消息 
所 以 实际 服务 端 只 发 送 了 2 条 应 答 ， 由 于 请 求 消息 不 满足 查询 条 件 ， 所 
以 返回 了 2 条 “BAD ORDER"HHS B. 但 是 实际 上 客户 问 只 收 到 了 一 条 
包含 2 条 “BAD ORDER” 指 令 的 消 恩 ， 说 明 服 务 端 返回 的 应 管 消 恩 也 发 生 
THE. 





FS Ei I RE AS ISTCPRUGS A/D EL, PUA RET CP Hh ES 
时 ， 我 们 的 程序 就 不 能 正常 工作 。 


下 面 的 章节 将 演示 如 何 通 过 Netty 的 LineBasedFrameDecoder 和 
StringDecoder 来 解决 TCP 粘 包 问 题 。 


4.3 利用 LineBasedFrameDecoder 解 决 TCP 粘 包 问 
题 


为 了 解决 TCP 粘 包 / 拆 包 导 致 的 半 包 读 写 问 题 ，Netty 默 认 提 供 了 多 
种 编 解 码 器 用 于 处 理 半 包 ， 只 要 能 熟练 掌握 这 些 类 库 的 使 用 ，TCP 粘 包 
问题 从 此 会 变 得 非常 容易 ， 你 甚至 不 需要 关心 它们 ， 这 也 是 其 他 NIO 框 
架 和 JDK 原 生 的 NIO API 所 无 法 匹敌 的 。 








下 面 我 们 就 以 修正 时 间 服 务 器 为 目标 进行 开发 和 讲解 ， 通 过 对 实际 
代码 的 讲解 让 大 家 能 够 尽快 熟悉 和 掌握 半 包 解码 器 的 使 用 。 


4.3.1 支持 TCP 粘 包 的 TimeServer 


直接 看 代码 ， 然 后 对 LineBasedFrameDecoder 和 StringDecoder 的 API 
进行 说 明 。 


代码 清单 4-3 Netty AAR 48 ARS "ig TimeS erver 





18. public class TimeServer { 


20. public void bind(int port) throws Exception { 

21. // 配置 服务 端的 NIO 线 程 组 

22. EventLoopGroup bossGroup = new NioEventLoopGroup(); 
23. EventLoopGroup workerGroup = new NioEventLoopGroup(); 
24. try { 

25; ServerBootstrap b = new ServerBootstrap(); 


26. b.group(bossGroup, workerGroup) 


27. 
28. 
29. 
30. 
31. 


.channel(NioServerSocketChannel.class) 

.option(ChannelOption.SO_BACKLOG, 1024) 

.childHandler(new ChildChannelHandler()); 
// 绑 定 端口 ， 同 步 等 待 成 功 


ChannelFuture f = b.bind(port).sync(); 





32. 


33. 
34. 


35 


36. 
37. 
38. 
39. 
40. 


// 等 待 服务 端 监 听 端 口 关闭 
f.channel().closeFuture().sync(); 
. } finally { 

// 优雅 退出 ， 释 放 线 程 池 资源 
bossGroup.shutdownGracefully(); 





workerGroup.shutdownGracefully(); 


41. 


42. 


43 


44. 
45. 


46. 


47. 


private class ChildChannelHandler extends Channel: 
. @Override 
protected void initChannel(SocketChannel arg®) throws Exce 


argO.pipeline().addLast(new LineBasedFrameDecoder (102: 


argO.pipeline( ).addLast(new StringDecoder()); 


argO.pipeline( ).addLast(new TimeServerHandler()); 


49. } 

50. 

51. a 

52, * @param args 

53: * @throws Exception 

54. ay 

55; public static void main(String[] args) throws Exceptic 


56. int port = 8080; 
57. if (args != null && args.length > 0) { 





58. try { 

59. port = Integer.valueOf(args[0]); 
60. } catch (NumberFormatException e) { 
61. // 采用 默认 值 

62. } 

63. } 

64. new TimeServer().bind(port); 

65. } 

66. } 





重点 看 45~47 行 ， 在 原来 的 TimeServerHandler 之 前 新 增 了 两 个 解码 
as: 第 一 个 是 LineBasedFrameDecoder， 第 二 个 是 StringDecoder。 这 两 个 
类 的 功能 后 续 会 进行 介绍 ， 下 面 继续 看 TimeServerHandler 的 代码 修改 。 





代码 清单 4-4 Netty 时 间 服 务 器 服务 端 TimeServerHandler 


12. 
13. 
14. 
15. 
16. 
17. 
18. 
19. 


20. 


21. 


22. 
23. 
24. 
25. 
26. 





public class TimeServerHandler extends ChannelHandlerAdapi 


private int counter; 


@Override 
public void channelRead(ChannelHandlerContext ctx, Ob: 
throws Exception { 


String body = (String) msg; 


System.out.println("The time server receive order : "+ bı 
+ " ; the counter is : " + ++counter); 
String currentTime = "QUERY TIME ORDER".equalsIgnoreCase(| 


System.currentTimeMillis()).toString() : "BAD ORDER"; 
currentTime = currentTime + System.getProperty("line.sepaı 
ByteBuf resp = Unpooled.copiedBuffer(currentTime.getBytesiı 


ctx.writeAndFlush(resp); 


28. 
29. @Override 
30. public void exceptionCaught(ChannelHandlerContext ctx, 


31. ctx.close(); 


32. } 





直接 看 19~~21 行 ， 可 以 发 现 接 收 到 的 msg 束 是 删除 回 车 换行 符 后 的 
请 求 消 奶 ， 不 雷 要 额外 考虑 处 理 读 半 包 问 题 ， 也 不 需要 对 请 求 消息 进行 
编码 ， 代 码 非常 简洁 。 读 者 可 能 会 质疑 这 样 是 否 可 行 ， 不 着 急 ， 我 们 先 
继续 看 看 客户 端的 类 似 改造 ， 然 后 运行 程序 看 执行 结果 ， 最 后 再 揭 开 其 
中 的 奥秘 。 











4.3.2” 文 持 TCP 粘 包 的 TimeClient 





文 持 TCP 粘 包 的 客户 端 修改 起 来 也 非 第 简单 ， 代 码 如 下 。 


代码 清单 4-5 Netty 时间 服 务 器 客户 端 TimeClient 





18. public class TimeClient { 
19. 
20. public void connect(int port, String host) throws Exce 


21. // 配置 客户 端 NIO 线 程 组 














22. EventLoopGroup group = new NioEventLoopGroup(); 
23. try { 


24. Bootstrap b = new Bootstrap(); 


25. 
26. 
27. 
28. 
29; 
30. 
31. 


32. 


33. 


34. 


35. 
36. 
37. 
38. 
39. 


b.group(group).channel(NioSocketChannel.class) 
.option(ChannelOption.TCP_NODELAY, true) 
.handler(new ChannelInitializer<SocketChannel>() . 
QOverride 
public void initChannel(SocketChannel ch) 
throws Exception { 


ch.pipeline().addLast( 


new LineBasedFrameDecoder (1024) ); 


ch.pipeline().addLast(new StringDecoder()); 


ch.pipeline().addLast(new TimeClientHandler(), 


} 
J): 


// 发 起 异步 连接 操作 


ChannelFuture f = b.connect(host, port).sync(); 





// 等 待 客户 端 链 路 关闭 
f.channel().closeFuture().sync(); 
. } finally { 
// 优雅 退出 ， 释 放 NI0 线 程 组 
group.shutdownGracefully(); 


/** 
* @param args 
* @throws Exception 
prd 
public static void main(String[] args) throws Exceptic 
. int port - 8080; 
. if (args != null && args.length > 0) { 
try { 
port = Integer.valueOf(args[0]); 
} catch (NumberFormatException e) { 
// 采用 默认 值 
} 





new TimeClient().connect(port, "127.0.0.1"); 
} 


31 一 34 行 与 服务 端 类 似 ， 直 接 在 TimeClientHandler 之 前 新 增 
LineBasedFrameDecoder 和 StringDecoder 解 码 器 ， 下 面 我 们 继续 看 
TimeClientHandler 的 代码 修改 。 


代码 清单 4-6 ” Netty 时间 服 务 器 客户 端 TimeClientHandler 





14. public class TimeClientHandler extends ChannelHandlerAdapt 


15. 

16. private static final Logger logger = Logger 
17. .getLogger (TimeClientHandler.class.getName()); 
18. 

19. private int counter; 

20. 

21. private byte[] req; 

22. 

23. Ex 

24. * Creates a client-side handler. 

25. */ 

26. public TimeClientHandler() { 


27. req = ("QUERY TIME ORDER" + System.getProperty("line.sepaı 


28. .getBytes(); 

29. } 

30. 

31. @Override 

32. public void channelActive(ChannelHandlerContext ctx) - 


33. ByteBuf message = null; 


34. for (int i = 0; i < 100; i++) { 


35. 
36. 
37; 
38. 
39. 
40. 
41. 
42. 
43. 
44. 


45. 


46. 


4T. 
48. 
49. 
50. 
51. 
52. 


message = Unpooled.buffer(req.length); 
message.writeBytes(req); 


ctx.writeAndFlush(message); 


@Override 


public void channelRead(ChannelHandlerContext ctx, Ob: 


throws Exception { 


String body = (String) msg; 


System.out.println("Now is : " + body + " ; the counter i: 


+ ++counter ); 


@Override 


public void exceptionCaught(ChannelHandlerContext ctx, 


// 释放 资源 


logger .warning("Unexpected exception from downstream 


53. + cause.getMessage()); 
54. ctx.close(); 

55. } 

56. } 





第 4 一 46 行 拿 到 的 msg 已 经 是 解码 成 字符 串 之 后 的 应 答 消息 了 ， 相 
比 于 之 前 的 代码 简洁 了 很 多 。 


下 个 小 节 我 们 运行 重 构 后 的 时 间 服 务 需 服务 端 和 客户 端 ， 看 看 它 能 
个 像 设计 预期 那样 正常 工作 。 





43.3 运行 文 持 TCP 粘 包 的 时 间 服 务 器 程序 


分 别 运行 TimeServer 和 TimeClient， 执 行 结果 如 下 。 


服务 端 执 行 结果 如 下 。 





The time server receive order : QUERY TIME ORDER ; the counte 
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Now is : Thu Feb 20 00:00:14 CST 2014 ; the counter is : 96 
Now is : Thu Feb 20 00:00:14 CST 2014 ; the counter is : 97 
Now is : Thu Feb 20 00:00:14 CST 2014 ; the counter is : 98 
Now is : Thu Feb 20 00:00:14 CST 2014 ; the counter is : 99 
Now is : Thu Feb 20 00:00:14 CST 2014 ; the counter is : 100 





程序 的 运行 结果 完全 符合 预期 ， 说 明 通 过 使 用 
LineBasedFrameDecoder 和 StringDecoder 成 功 解决 了 TCP 精 包 导致 的 读 半 
包 问 题 。 对 于 使 用 者 来 说 ， 只 要 将 文 持 半 包 解码 的 handler 添 加 到 
ChannelPipeline 中 即 可 ， 不 需要 写 额 外 的 代码 ， 用 户 使 用 起 来 非常 简 
FA 





下 个 小 节 ， 我 们 就 对 添加 LineBasedFrameDecoder 和 StringDecoder 之 
后 就 能 解决 TCP 粘 包 导 致 的 读 半 包 或 者 多 包 问 题 的 原因 进行 分 析 。 


4.3.4 LineBasedFrameDecoder 和 StringDecoder 的 原理 分 析 


LineBasedFrameDecoder 的 工作 原理 是 它 依 次 过 历 ByteBuf 中 的 可 读 
字 节 ， 判 断 看 是 否 有 “\n” 或 者 rn”， 如 果 有 ， 就 以 此 位 置 为 结束 位 置 ， 
从 可 读 索 引 到 结束 位 置 区 间 的 字 节 就 组 成 了 一 行 。 它 是 以 换行 符 为 结束 
标志 的 解码 器 ， 文 持 携 市 结束 符 或 者 不 携带 结束 符 两 种 解码 方式 ， 同 时 
文 持 配置 单行 的 最 大 长 度 。 如 果 连 续 读 取 到 最 大 长 度 后 仍然 没有 发 现 换 
行 符 ， 就 会 抛 出 异常 ， 同 时 忽略 掉 之 前 读 到 的 异常 码 流 。 











StringDecoder 的 功能 非常 简单 ， 束 是 将 接收 到 的 对 象 转换 成 字符 
串 ， 然 后 继续 调用 后 面 的 handler。LineBasedFrameDecoder 十 
StringDecoder 组 合 就 是 按 行 切换 的 文本 解码 器 ， 它 被 设计 用 来 支持 TCP 
的 粘 包 和 拆 包 。 


可 能 读者 会 提出 新 的 疑问 : 如果 发 送 的 消息 不 是 以 换行 符 结 束 的 该 
EA IME? 或 者 没有 回 车 换行 待 ， 靠 消息 头 中 的 长 度 字段 来 分 包 怎 么 
IN 是 不 是 需要 目 己 写 半 包 解码 圳 ? 答案 是 否定 的 ，Netty 提 供 了 多 种 
文 持 TCP 粘 包 / 拆 包 的 解码 器 ， 用 来 满足 用 户 的 不 同 诉 求 。 




















第 5 章 我 们 将 学 习 分 隔 符 解 码 右 ， 由 于 筷 在 实际 项 目 中 应 用 非常 广 
泛 ， 所 以 单独 用 一 章 对 其 用 法 和 原理 进行 讲解 。 


44 Mf 


本 章 自 先 对 TCP 的 粘 包 和 拆 包 进行 了 讲解 ， 给 出 了 解决 这 个 问题 的 
通用 做 法 。 然 后 我 们 对 第 3 章 的 时 间 服 务 器 进行 改造 和 测试 ， 首 先 验证 
没有 考虑 TCP 粘 包 / 拆 包 导 致 的 问题 。 随 后 给 出 了 解决 方案 ， 即 利用 
LineBasedFrameDecoder+StringDecoder K f RTCP H AK E/E IH]. 


第 5 章 ”分 隅 从 和 定 长 解码 器 的 应 


TCP 以 流 的 方式 进行 数据 传输 ， 上 层 的 应 用 协议 为 了 对 消息 进行 区 
分 ， 往 往 采用 如 下 4 种 方式 。 


(1) 消息 长 度 固 定 ， 味 计 读 取 到 长 度 总 和 为 定 长 LEN 的 报 文 后 ， 
就 认为 该 取 到 了 一 个 完整 的 消息 ; 将 计数 器 置 位 ， 重 新 开始 该 取 下 一 个 
数据 报 ; 

D 将 回 车 换行 符 作 为 消 妃 结束 符 ， 例 如 FTP 协 议 ， 这 种 方式 在 
文本 协议 中 应 用 比较 广泛 ; 


(3) 将 特殊 的 分 隔 符 作为 消息 的 结束 标志 ， 回 车 换行 符 就 是 一 种 
特殊 的 结束 分 隔 符 ; 


(4) 通过 在 消 轧 头 中 定义 长 度 字 段 来 标识 消息 的 总 长 度 。 








Netty 对 上 面 四 种 应 用 做 了 统一 的 抽象 ， 提 供 了 4 种 解码 器 来 解决 对 
应 的 问题 ， 使 用 起 来 非常 方便 。 有 了 这 些 解码 硕 ， 用 户 不 需要 目 己 对 读 
取 的 报 文 进行 人 工 解 码 ， 也 不 需要 考虑 TCP 的 粘 包 和 拆 包 。 








第 4 章 我 们 介绍 了 如 何 利 用 LineBasedFrameDecoder 解 决 TCP 的 粘 包 
问题 ， 本 章 我 们 继续 学 习 另 外 两 种 实用 的 解码 器 一 一 
DelimiterBasedFrameDecoder 和 FixedLengthFrameDecoder， 前 者 可 以 自 
动 完 成 以 分 阳 符 做 结束 标志 的 消 恩 的 解码 ， 后 者 可 以 自动 完成 对 定 长 消 
恩 的 解码 ， 它 们 都 能 解决 TCP 烙 包 / 拆 包 导 致 的 读 半 包 问 题 。 





本 章 主 要 内 容 包 括 : 


DelimiterBasedFrameDecoder 服 务 端 开发 
DelimiterBasedFrameDecoder 客 户 端 开 发 

运行 DelimiterBasedFrameDecoder 服 务 端 和 客户 端 
FixedLengthFrameDecoder 服 务 端 开发 

通过 telnet 命 令 行 调试 FixedLengthFrameDecoder 服 务 端 


5.1 DelimiterBasedFrameDecoder)y HJ 7T /z 


通过 对 DelimiterBasedFrameDecoder 的 使 用 ， 我 们 可 以 自动 完成 以 
分 隅 符 作 为 码 流 结束 标识 的 消息 的 解码 ， 下 面 通过 一 个 演示 程序 来 学 习 
下 如 何 使 用 DelimiterBased FrameDecoder 进 行 开发 。 


演示 程序 以 经 典 的 Echo 服 务 为 例 。EchoServer 接 收 到 EchoClient 的 
请 求 消 恩 后 ， 将 其 打印 出 来 ， 然 后 将 原始 消息 返回 给 客户 端 ， 消 晨 
以 “$ EAA ba FF 


5.1.1  DelimiterBasedFrameDecoder Hl 3 mI E 


下 面 我 们 直接 看 EchoServer 的 源 代码 : 


代码 清单 5-1 EchoServer 服 务 端 EchoServer 

















22. public class EchoServer { 

23; public void bind(int port) throws Exception { 

24. // 配置 服务 端的 NIO 线 程 组 

25. EventLoopGroup bossGroup = new NioEventLoopGroup(); 
26. EventLoopGroup workerGroup = new NioEventLoopGroup( 
27. try { 

28. ServerBootstrap b = new ServerBootstrap(); 

29. b.group(bossGroup, workerGroup) 

30. .channel(NioServerSocketChannel.class) 

31. .option(ChannelOption.SO_BACKLOG, 100) 


32. .handler (new LoggingHandler(LogLevel. INFO) ) 


33. 
34. 
35. 
36. 
37. 


38. 


39. 


40. 


41. 


42. 
43. 
44. 


.childHandler(new ChannelInitializer<Socket 

@Override 

public void initChannel(SocketChannel ch) 
throws Exception { 


ByteBuf delimiter = Unpooled.copiedBuff 


.getBytes()); 


ch.pipeline().addLast( 


new DelimiterBasedFrameDecoder (1024 


delimiter)); 


ch.pipeline().addLast(new StringDecoder 


ch.pipeline().addLast(new EchoServerHan 


J): 


// 绑 定 端 口 ， 同 步 等 待 成 功 


ChannelFuture f = b.bind(port).sync(); 





// 等 待 服务 端 监 听 端 口 关闭 

f.channel().closeFuture().sync(); 
} finally { 

// 优雅 退出 ， 释 放 线 程 池 资源 

bossGroup.shutdownGracefully(); 


workerGroup.shutdownGracefully(); 


public static void main(String[] args) throws Excep 
int port = 8080; 
if (args != null && args.length > 0) { 

try { 

port = Integer.valueOf(args[0]); 

} catch (NumberFormatException e) { 


// 采用 默认 值 





} 
} 
new EchoServer().bind(port); 
} 


我 们 重点 看 37 一 41 行 ， 首 先 创建 分 隅 符 缓 冲 对 象 ByteBuf， 本 例 程 
中 使 用 “$_” 作 为 分 隔 符 。 第 40 行 ， 创 建 DelimiterBasedFrameDecoder 对 
象 ， 将 其 加 入 到 ChannelPipeline 中 。DelimiterBasedFrameDecoder 有 多 个 
构造 方法 ， 这 里 我 们 传递 两 个 参数 ， 第 一 个 1024 表 示 单 条 消息 的 最 大 长 
度 ， 当 达到 该 长 度 后 仍然 没有 碍 找到 分 隅 符 ， 束 抛 出 TooLongFrame 
Exception 异 常 ， 防 止 由 于 异常 码 流 缺 失 分 隔 符 导致 的 内 存 滚 出 ， 这 是 

EJ) 


f 
Netty 解 码 器 的 可 靠 性 保护 ， 第 二 个 参数 就 是 分 隔 符 缓冲 对 象 。 





下 面 继续 看 EchoServerHandler 的 实现 。 


代码 清单 5-2 ”EchoServer 服 务 端 EchoServerHandler 





13. @Sharable 


14. public class EchoServerHandler extends ChannelHandlerAd 
15. 

16. int counter = 0; 

17. 

18. @Override 

19. public void channelRead(ChannelHandlerContext ctx, 
20. throws Exception { 

21. String body = (String) msg; 


22. System.out.println("This is " + ++counter + " times 


23. 


24. 


25. 


26. 


27. 
28. 
29. 
30. 
31. 
32. 
33. 
34. 


+ body + "]"); 


body += "$_"; 


ByteBuf echo = Unpooled.copiedBuffer(body.getBytes( 


ctx.writeAndFlush(echo) ; 


@Override 

public void exceptionCaught(ChannelHandlerContext c 
cause.printStackTrace(); 

ctx.close();// 发 生 异 常 ， 关 闭 链 路 

} 








第 21 一 23 行 直接 将 接收 的 消息 打印 出 来 ， 由 于 
DelimiterBasedFrameDecoder 上 自动 对 请 求 消息 进行 了 解码 ， 后 续 的 
ChannelHandlerfZ& El f] msg] $39, xe 63€ FII EL; 第 二 个 
ChannelHandler 是 StringDecoder， 它 将 ByteBuf 解 码 成 字符 串 对 象 ， 第 三 
个 EchoServerHandler 接 收 到 的 msg 消 息 束 是 解码 后 的 字符 串 对 象 。 








由 于 我 们 设置 DelimiterBasedFrameDecoder 过 滤 掉 了 分 隔 符 ， 所 
以 ， 返 回 给 客户 端 时 需要 在 请 求 消息 尾部 拼接 分 隔 符 “$_ ”， 最 后 创建 
ByteBuf， 将 原始 消息 重新 返回 给 客户 端 。 





下 面 我 们 继续 看 下 客户 端的 实现 。 
5.1.2 DelimiterBasedFrameDecoder% F mI /z 
首先 看 下 EchoClient 的 实现 。 


代码 清单 5-3 EchoClient& "gj; EchoClient 





20. public class EchoClient { 

















21. 

22. public void connect(int port, String host) throws E 
23. // 配置 客户 端 NIO 线 程 组 

24. EventLoopGroup group = new NioEventLoopGroup(); 

25. try { 

26 . Bootstrap b = new Bootstrap(); 

27. b.group(group).channel(NioSocketChannel.class) 
28. .option(ChannelOption.TCP_NODELAY, true) 


29. .handler(new ChannelInitializer<SocketChann 


30. 
31. 
32. 
33. 


34. 


35. 


36. 


37. 


38. 


@Override 
public void initChannel(SocketChannel ch) 
throws Exception { 


ByteBuf delimiter = Unpooled.copiedBuff 


.getBytes()); 


ch. pipeline().addLast( 


new DelimiterBasedFrameDecoder (1024 


delimiter) ); 


ch.pipeline().addLast(new StringDecoder 


39. 


40. 
41. 
42. 
43. 
44. 
45. 
46. 
47. 
48. 
49. 
50. 
51. 
52. 
53. 
54. 
55. 
56. 
5T. 
58. 
59. 
60. 
61. 
62. 


} 


}); 


ch.pipeline().addLast(new EchoClientHan 


// 发 起 异步 连接 操作 


ChannelFuture f = b.connect(host, port).sync(); 





// 等 待 客户 端 链 路 关闭 


f.channel().closeFuture().sync(); 


} finally { 





// 优雅 退出 ， 释 放 NI0 线 程 组 
group.shutdownGracefully(); 


Z** 


* (param args 


* @throws Exception 


*/ 


public static void main(String[] args) throws Excep 


int port 

if (args 
try { 
port 


8080; 


I= null && args.length > 0) { 


Integer.valueOf(args[0]); 


63. } catch (NumberFormatException e) { 





64. // 采用 默认 值 

65. } 

66. } 

67. new EchoClient().connect(port, "127.0.0.1"); 
68. } 

69. } 





与 服务 端 类 似 ， 分 别 将 DelimiterBasedFrameDecoder 和 StringDecoder 
添加 到 客户 端 ChannelPipeline 中 ， 最 后 添加 客户 端 1O 事 件 处 理 类 
EchoClientHandler， 下 面 继续 看 EchoClientHandler 的 实现 。 


代码 清单 5-4 EchoClient 客 户 端 EchoClientHandler 





11. public class EchoClientHandler extends ChannelHandlerAd 


12. 

13. private int counter; 

14. 

15; static final String ECHO_REQ = "Hi, Lilinfeng. Welc 
16. 

17. Ba 

18. * Creates a client-side handler. 

19. */ 

20. public EchoClientHandler() { 

21. } 


23. 
24. 
25. 


26. 


27. 


28. 
29. 
30. 
31. 
32. 


33. 


34. 


@Override 
public void channelActive(ChannelHandlerContext ctx 


for (int i = 0; i < 10; i++) { ctx.writeAn 


@Override 
public void channelRead(ChannelHandlerContext ctx, 
throws Exception { 


System.out.println("This is " + ++counter + " times 


+ msg + "]"); 


35 . 


36. @Override 

3T. public void channelReadComplete(ChannelHandlerConte 
38. ctx.flush(); 

39. } 

40. 

41. @Override 

42. public void exceptionCaught(ChannelHandlerContext c 
43. cause.printStackTrace(); 

44. ctx.close(); 

45. } 

46. } 








第 25~~26 行 在 TCP 链 路 建立 成 功 之 后 循环 太 送 请 求 消息 给 服务 端 ， 
第 32~~33 行 打印 接收 到 的 服务 端 应 答 消 恩 同时 进行 计数 。 


下 个 小 节 ， 运 行 上 面 开 发 的 服务 端 和 客户 端 ， 看 看 运行 结果 是 售 正 
确 。 


5.1.3 ”运行 DelimiterBasedFrameDecoder 服 务 端 和 客户 端 


服务 端 运行 结果 如 下 。 





This is 1 times receive client : [Hi, Lilinfeng. Welcome to 
This is 2 times receive client : [Hi, Lilinfeng. Welcome to 


This is 3 times receive client : [Hi, Lilinfeng. Welcome to 


Zz 2 Z 2 


This is 4 times receive client : [Hi, Lilinfeng. Welcome to 








This is 5 times receive client [Hi, Lilinfeng. Welcome to N 
This is 6 times receive client [Hi, Lilinfeng. Welcome to N 
This is 7 times receive client [Hi, Lilinfeng. Welcome to N 
This is 8 times receive client [Hi, Lilinfeng. Welcome to N 
This is 9 times receive client [Hi, Lilinfeng. Welcome to N 
This is 10 times receive client [Hi, Lilinfeng. Welcome to 
25 nds (TZ AR T o 

This is 1 times receive server [Hi, Lilinfeng. Welcome to N 
This is 2 times receive server [Hi, Lilinfeng. Welcome to N 
This is 3 times receive server [Hi, Lilinfeng. Welcome to N 
This is 4 times receive server [Hi, Lilinfeng. Welcome to N 
This is 5 times receive server [Hi, Lilinfeng. Welcome to N 
This is 6 times receive server [Hi, Lilinfeng. Welcome to N 
This is 7 times receive server [Hi, Lilinfeng. Welcome to N 
This is 8 times receive server [Hi, Lilinfeng. Welcome to N 
This is 9 times receive server [Hi, Lilinfeng. Welcome to N 
This is 10 times receive server [Hi, Lilinfeng. Welcome to 





服务 端 成 功 接收 到 了 客户 端 发 送 的 10 条 “Hi，Lilinfeng，Welcome to 


Netty.” WKH E, 


Welcome 
DelimiterBasedFrameDecoder 可 以 自动 对 采用 分 隔 各 


消息 进行 解码 。 


to 


山 成 功 接收 到 了 服务 端 返回 的 10 条 “Hi，Lilinfeng. 


Netty.” 应 答 消 息 。 测 试 结果 表明 使 用 


守 做 人 码 流 


结束 标识 


的 


本 例 程 运行 10 次 的 原因 是 模拟 TCP 烙 包 / 拆 包 ， 在 笔者 的 机 器 上 ， 连 
续 发 送 10 条 Echo 请 求 消息 会 发 生 粘 包 ， 如 果 没 有 
DelimiterBasedFrameDecoder 解 码 器 的 处 理 ， 服 务 端 和 客户 端 程序 都 将 
运行 失败 。 下 面 我 们 将 服务 端的 DelimiterBasedFrameDecoder 注 释 掉 ， 
最 终 代 码 如 图 5-1 所 示 。 


图 5-1 删除 掉 DelimiterBasedFrameDecoder 后 的 服务 端 代码 





服务 端 运行 结果 如 下 。 





This is 1 times receive client : [Hi, Lilinfeng. Welcome to N 





ATRA ABS PF RES SS. TER FETTE SP ARTE 
消息 ， 这 束 是 典型 的 没有 考虑 TCP 精 包 导 致 的 问题 。 


5.2 FixedLengthFrameDecoder 应 用 开发 


FixedLengthFrameDecoder 是 固定 长 度 解码 器 ， 它 能 够 按照 指定 的 长 
度 对 消息 进行 自动 解码 ， 开 发 者 不 需要 考虑 TCP 的 粘 包 / 拆 包 问题 ， 非 常 
实用 。 下 面 我 们 通过 一 个 应 用 实例 对 其 用 法 进行 讲解 。 





5.2.1 FixedLengthFrameDecoder 服 务 端 开发 


在 服务 端的 ChannelPipeline 中 新 增 FixedLengthFrameDecoder， 长 度 
设置 为 20， 然 后 再 依次 增加 字符 串 解 码 器 和 EchoServerHandler， 代 码 如 
Ps 


代码 清单 5-5 EchoServer 服 务 端 “EchoServer 

















20. public class EchoServer { 

21. public void bind(int port) throws Exception { 

22. // 配置 服务 端的 NIO 线 程 组 

23. EventLoopGroup bossGroup = new NioEventLoopGroup(); 
24. EventLoopGroup workerGroup = new NioEventLoopGroup( 
25. try { 

26. ServerBootstrap b = new ServerBootstrap(); 

27. b.group(bossGroup, workerGroup) 

28. .channel(NioServerSocketChannel.class) 

29. .option(ChannelOption.SO_BACKLOG, 100) 

305 .handler(new LoggingHandler(LogLevel.INFO)) 
31. .childHandler(new ChannelInitializer<Socket 


32. @Override 


33. 
34. 
35. 


36. 


3T. 
38. 
39. 
40. 
41. 
42. 
43. 
44. 
45. 
46. 
47. 
48. 
49. 
50. 
51. 
52, 
53. 


public void initChannel(SocketChannel ch) 
throws Exception { 


ch.pipeline().addLast( 


new FixedLengthFrameDecoder(20)); 


ch.pipeline().addLast(new StringDecoder 
ch.pipeline().addLast(new EchoServerHan 
} 
}); 





// 绑 定 端 口 ， 同 步 等 待 成 功 


ChannelFuture f = b.bind(port).sync(); 


// 等 待 服务 端 监 听 端 口 关闭 

f.channel().closeFuture().sync(); 
} finally { 

// 优雅 退出 ， 释 放 线 程 池 资源 

bossGroup.shutdownGracefully(); 





workerGroup.shutdownGracefully(); 


54. public static void main(String[] args) throws Excep 





55, int port = 8080; 

56. if (args != null && args.length > 0) { 
5T. try { 

58. port = Integer.valueOf(args[0]); 
59. ) catch (NumberFormatException e) { 
60. // 采用 默认 值 

61. } 

62. } 

63. new EchoServer().bind(port); 

64. } 

65. } 





EchoServerHandler 的 功能 比较 简单 ， 直 接 将 读 取 到 的 消息 打印 出 
HK, -代码 如 下 。 


代码 清单 5-6 ”EchoServer 服 务 端 ”EchoServerHandler 





11. Qsharable 


12. public class EchoServerHandler extends ChannelHandlerAd 
13. 

14. QOverride 

15; public void channelRead(ChannelHandlerContext ctx, 
16. throws Exception { 

17. System.out.println("Receive client : [" + msg + "]" 


18. } 


19. 








20. @Override 

21. public void exceptionCaught(ChannelHandlerContext c 
22. cause.printStackTrace(); 

23. ctx.close();// 发 生 异 常 ， 关 闭 链 路 

24. } 

25. } 





Fil FA FixedLengthFrameDecoderfi#i4 4&, Are — X BEN 81 e ^b BHR 
报 ， 它 都 会 按照 构造 函数 中 设置 的 固定 长 度 进行 解码 ， 如 果 是 半 包 消 
恩 ，FixedLengthFrameDecoder 会 缓存 半 包 消息 并 等 待 下 个 包 到 达 后 进行 
拼 包 ， 直 到 读 取 到 一 个 完整 的 包 。 





下 面 的 章节 我 们 通过 telnet 命 令 行 来 测试 EchoServer 服务 端 ， 看 它 能 
否 按照 预期 进行 工作 。 


5.2.2 ”利用 telnet 命 令 行 测 试 EchoServer 服 务 端 


由 于 客户 端 代 码 比较 简单 ， 所 以 这 次 我 们 通过 telnet 命 令 行 对 服务 
端 进行 测试 。 


测试 场景 : 在 Windows 操 作 系 统 上 打开 CMD 命 令 行 窗 口 ， 通 过 
telnet 命 令 行 连接 服务 器 ， 在 控制 台 输 入 如 下 内 容 。 





Lilinfeng welcome to Netty at Nanjing 





然后 看 服务 端 打印 的 内 容 ， 预 期 输出 的 请 求 消 轧 为 <Lilinfeng 


welcome to”. 
Frid E RSS FEAMAD . 


CD 在 【运行 】 菜 单 中 输入 cmd 命 令 ， 打 开 命 令 行 窗口 ， 如 图 5-2 
所 示 。 


图 5-2 ”通过 cmd 命 令 打 开 CMD 窗 口 





(2) 在 命令 行 中 输入 “telnet localhost 8080”， 通 过 telnet 连 接 服务 
端 ， 如 图 5-3 所 示 。 





图 5-3 ”通过 telnet 命 令 连 接 服务 端 


(3) 通过 set localecho 命 令 打 开本 地 回 显 功能 ， 输 入 命令 行内 容 ， 
如 图 5-4 所 示 。 





图 5-4 输入 Lilinfeng welcome to Netty at Nanjing 


(4) EchoServer 服 务 端 运行 结果 如 图 5-5 所 示 。 








图 5-5 ”服务 端 运行 结果 


根据 图 5-5 所 示 内 容 ， 服 务 端 运行 结果 完全 符合 预期 ， 
FixedLengthFrameDecoder 解 码 器 按照 20 个 字 节 长 度 对 请 求 消息 进行 截 
取 ， 输 出 结果 为 “Lilinfeng welcome to”. 


5.3 ”总结 
本 章 我 们 学 习 了 两 个 非常 实用 的 解码 器 : 


DelimiterBasedFrameDecoder 和 FixedLength FrameDecoder。 


DelimiterBasedFrameDecoder 用 于 对 使 用 分 隔 符 结 尾 的 消息 进行 自 
动 解码 ，FixedLengthFrameDecoder 用 于 对 固定 长 度 的 消息 进行 自动 解 
人 码 。 有 了 上 述 两 种 解码 器 ， 再 结合 其 他 的 解码 器 ， 如 字符 串 解码 器 等 ， 
可 以 轻松 地 完成 对 很 多 消息 的 自动 解码 ， 而 且 不 再 需要 考虑 TCP 粘 包 / 拆 
包 导 致 的 读 半 包 问 题 ， 极 大 地 提升 了 开发 效率 。 








应 用 DelimiterBasedFrameDecoder 和 FixedLengthFrameDecoder 进 行 
开发 非常 简单 ， 在 绝 大 数 情 况 下 ， 只 要 将 DelimiterBasedFrameDecoder 
或 FixedLengthFrameDecoder 添 加 到 对 应 ChannelPipeline 的 起 始 位 即 可 。 


熟悉 了 Netty 的 NIO 基 础 应 用 开发 之 后 ， 从 第 三 部 分 开始 ， 我 们 继续 
学 习 编 解 码 技术 。 在 了 解 编 解码 基础 知识 之 后 ， 继 续 学 习 Netty 内 置 的 
编 解 码 框架 的 使 用 ， 例 如 Java 序 列 化 、 二 进 制 编 解码 、 谷 歌 的 protobuf 
和 JBoss 的 Marshalling 序 列 化 框架 。 
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编 解码 技术 


章 ” Java 序列 化 


Google Protobuf 编 解码 


JBoss Marshalling 编 解码 


第 6 章 ” 编 解 公 技 术 


基于 Java 提 供 的 对 象 输入 /输出 流 ObjectInputStream 和 
ObjectOutputStream， 可 以 直接 把 Java 对 象 作为 可 存储 的 字 节 数组 写 入 文 
件 ， 也 可 以 传输 到 网 络 上 。 对 程序 员 来 说 ， 基 于 JDK 默 认 的 序列 化 机 制 
可 以 避免 操作 底层 的 字 节 数组 ， 从 而 提升 开发 效率 。 








Java 序 列 化 的 目的 主要 有 两 个 : 


。 网 络 传输 
© 对 象 持 久 化 


由 于 本 书 主要 介绍 基于 Netty 的 NIO 网 络 开发 ， 所 以 我 们 重点 关注 网 
络 传输 。 当 进行 远程 路 进程 服务 调用 时 ， 需 要 把 被 传输 的 Java 对 象 编码 
为 字 节 数组 或 者 ByteBuffer 对 象 。 而 当 远 程 服务 读 取 到 ByteBuffer 对 象 或 
者 字 节 数组 时 ， 需 要 将 其 解码 为 发 送 时 的 Java 对 象 。 这 被 称 为 Java 对 象 
编 解 码 技术 。 


Java 序 列 化 仅仅 是 Java 编 解码 技术 的 一 种 ， 由 于 筷 的 种 种 缺陷 ， 衍 
生出 了 多 种 编 解码 技术 和 框架 ， 后 续 的 章节 我 们 会 结合 Netty 介 绍 几 种 
业界 主流 的 编 解 码 技术 和 框架 ， 看 看 如 何在 Netty 中 应 用 这 些 编 解 码 框 
架 实 现 消 妃 的 高 效 序列 化 。 


本 章 主 要 内 容 包 括 : 


e Java 序 列 化 的 缺点 
e. 业界 流行 的 几 种 编 解 码 框 架 介绍 


6.1 Java 序列 化 的 缺点 


Java 序 列 化 从 JDK 1.1 版 本 就 已 经 提供 ， 它 不 需要 添加 额外 的 类 库 ， 
只 需 实现 java.io.Serializable 并 生成 序列 ID 即 可 ， 因 此 ， 它 从 诞生 之 初 就 
得 到 了 广泛 的 应 用 。 


但 是 在 远程 服务 调用 (RPC) 时 ， 很 少 直接 使 用 Java 序 列 化 进行 消 
恩 的 编 解码 和 传输 ， 这 又 是 什么 原因 呢 ? 下 面 通过 分 析 Java 序 列 化 的 缺 
点 来 找 出 答案 。 





6.1.1 无 法 跨 语言 


无 法 跨 语 言 ， 是 Java 序 列 化 最 致命 的 问题 。 对 于 跨 进 程 的 服务 调 
用 ， 服 务 提 供 者 可 能 会 使 用 C++ 或 者 其 他 语言 开发 ， 当 我 们 需要 和 异 构 
语言 进程 交互 时 ，Java 序 列 化 就 难以 胜任 。 





由 于 Java 序 列 化 技术 是 Java 语 言 内 部 的 私有 协议 ， 其 他 语言 并 不 文 
持 ， 对 于 用 户 来 说 它 完 全 是 黑 盒 。 对 于 Java 序 列 化 后 的 字 节 数组 ， 别 的 
语言 无 法 进行 反 序 列 化 ， 这 就 严重 阻 查 了 它 的 应 用 。 





事实 上， 目前 几乎 所 有 流行 的 Java _RCP 通 信 框 架 ， 都 没有 使 用 Java 
序列 化 作为 编 解 码 框架 ， 原 因 就 在 于 它 无 法 路 语言 ， 而 这 些 RPC 框 架 往 
往 需 要 支持 跨 语 言 调用 。 


6.1.2 序列 化 后 的 码 流 太 大 








下 面 我 们 通过 一 个 实例 看 下 Java 序 列 化 后 的 字 节 数组 大 小 。 


代码 清单 6-1 ” Java 序列 化 代码 ”POJO 对 象 类 UserInfo 
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25. 
26. 
27. 
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29. 
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32. 
33. 
34. 
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public class UserInfo implements Serializable { 


/** 
* 默认 的 序列 号 
*/ 





private static final long serialVersionUID = 1L; 


private String userName; 


private int userID; 


public UserInfo buildUserName(String userName) { 
this.userName = userName; 


return this; 


} 


public UserInfo buildUserID(int userID) { 
this.userID = userID; 


return this; 


} 


/** 
* @return the userName 
> 

public final String getUserName() { 


return userName; 


36. 
37. 
38. 
39. 
40. 
41. 
42. 
43. 
44. 
45. 
46. 
47. 
48. 
49. 
50. 
51. 
52. 
53. 
54. 


* @param userName 


the userName to set 


public final void setUserName(String userName) { 


this.userName 


* @return the userID 


public final int getUserID() { 


return userID; 


* (param userID 
" the userID to set 
Z 
public final void setUserID(int userID) { 


this.userID = userID; 


j 


public byte[] codeC() { 
ByteBuffer buffer - ByteBuffer.allocate(1024); 


63. byte[] value = this.userName.getBytes(); 


64. buffer.putInt(value.length); 

65. buffer.put(value); 

66. buffer.putInt(this.userID); 

67. buffer.flip(); 

68. value = null; 

69. byte[] result = new byte[buffer.remaining()]; 
70. buffer.get(result); 

71. return result; 

72. } 

73. } 





UserInfo 对 象 是 个 普通 的 POJO 对 象 ， 它 实现 了 java.io.Serializable 接 
口 ， 并 且 生 成 了 一 个 默认 的 序列 号 serialVersionUID = ”1L。 这 说 明 
UserInfo 对 象 可 以 通过 JDK 默 认 的 序列 化 机 制 进行 序列 化 和 反 序 列 化 。 


第 61 一 72 行 使 用 基于 ByteBuffer 的 通用 二 进 制 编 解码 技术 对 UserInfo 
对 象 进 行 编码 ， 编 码 结果 仍然 是 byte 数 组 ， 可 以 与 传统 的 JDK 序 列 化 后 
的 码 流 大 小 进行 对 比 。 





下 面 写 一 个 测试 程序 ， 先 调用 两 种 编码 接口 对 POJO 对 象 编 码 ， 然 
后 分 别 打 印 两 者 编码 后 的 码 流 大 小 进行 对 比 。 


代码 清单 6-2 _ Java 序列 化 代码 编码 测试 类 TestUserInfo 





11. public class TestUserInfo { 
12. 


/** 

* @param args 

* @throws IOException 

*/ 
public static void main(String[] args) throws IOExc 
UserInfo info = new UserInfo(); 
info.buildUserID(100).buildUserName("Welcome to Net 
ByteArrayOutputStream bos = new ByteArrayOutputStre 
ObjectOutputStream os - new ObjectOutputStream(bos) 
os.writeObject(info); 
os.flush(); 
os.close(); 
byte[] b = bos.toByteArray(); 
System.out.println("The jdk serializable length is 
bos.close(); 
System.out.println("------------------------------- 
System.out.println("The byte array serializable len 


+ info.codeC().length); 





测试 结果 如 图 6-1 所 示 。 
































— 


图 6-1 JDK 序 列 化 机 制 和 通用 二 进 制 编码 测试 结果 





测试 结果 令 人 震 尺 ， 采 用 JDK 订 列 化 机 制 编码 后 的 二 进 制 数 组 大 小 





竟然 是 二 进 制 编码 的 5.29 倍 。 


我 们 评判 一 个 编 解码 框架 的 优 劣 时 ， 往 往 会 考虑 以 下 几 个 因素 。 





e 是 否 文 持 跨 语言 ， 文 持 的 语言 种 类 是 否 丰 富 ; 
。 编码 后 的 码 流 大 小 ; 

编 解码 的 性 能 ; 

类 库 是 否 小 巧 ，API 使 用 是 否 方便 ; 

。 使 用 者 需要 手工 开发 的 工作 量 和 难度 。 











在 同等 情况 下 ， 编 码 后 的 字 节 数组 越 大 ， 存 储 的 时 候 就 越 占 空间 ， 
存储 的 硬件 成 本 束 越 高 ， 并 且 在 网 络 传输 时 更 占 带 党 ， 导 致 系统 的 否 吐 
量 降低 。Java 序 列 化 后 的 码 流 偏 大 也 一 直 被 业界 所 诉 病 ， 导 致 它 的 应 用 
范围 受到 了 很 大 限制 。 


6.13 ”序列 化 性 能 太 低 


下 面 我 们 从 序列 化 的 性 能 角度 看 下 JDK 的 表现 如 何 。 将 之 前 的 例 程 
代码 和 做 修改 ， 改 造成 性 能 测试 版 本 ， 如 图 6-2 所 示 。 


图 6-2 ”UserInfo 性 能 测试 版 本 修改 


对 UserInfo 进 行 改造 ， 新 增 上 图 所 示 的 方法 ， 再 创建 一 个 性 能 测试 
版 本 的 UserInfo 测 试 程序 ， 代 人 码 如 下 。 


代码 清单 6-3 Java 序列 化 代码 ”编码 性 能 测试 类 


PerformTestUserInfo 





12. public class PerformTestUserInfo { 
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15, 
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FR 
* @param args 
* @throws IOException 


uh 


public static void main(String[] args) throws IOExc 


UserInfo info - new UserInfo(); 


info.buildUserID(100).buildUserName("Welcome to Net 


int loop - 1000000; 
ByteArrayOutputStream bos - null; 
ObjectOutputStream os - null; 
long startTime - System.currentTimeMillis(); 
for (int i = 0; i < loop; i++) ( 
bos = new ByteArrayOutputStream(); 
os = new ObjectOutputStream(bos); 
os.writeObject(info); 
os.flush(); 
os.close(); 
byte[] b = bos.toByteArray(); 
bos.close(); 


} 


long endTime = System.currentTimeMillis(); 


System.out.println("The jdk serializable cost time 


+ (endTime - startTime) + " ms"); 


System.out.println("------------------------------- 


40. ByteBuffer buffer = ByteBuffer.allocate(1024); 


41. startTime = System.currentTimeMillis(); 

42. for (int i = 0; i < loop; i++) { 

43. byte[] b = info.codeC(buffer); 

44. } 

45. endTime = System.currentTimeMillis(); 

46. System.out.println("The byte array serializable cos 
47. + (endTime - startTime) + " ms"); 

48. } 

49. } 





对 Java 序 列 化 和 二 进 制 编码 分 别 进行 性 能 测试 ， 编 码 100 万 次 ， 然 
后 统计 耗费 的 总 时 间 ， 测 试 结 果 如 图 6-3 所 示 。 





图 6-3 ”UserInfo 编 码 性 能 测试 结果 




















这 个 结果 也 非常 令 人 惊讶 : Java 序 列 化 的 性 能 只 有 二 进 制 编码 的 
6.17% 左 右 ， 可 见 Java 原 生 序列 化 的 性 能 实在 太 差 。 





下 面 我 们 结合 编码 速度 ， 综 合 对 比 一 下 Java 序 列 化 和 二 进 制 编码 的 
性 能 差异 ， 如 图 6-4 所 示 。 


图 6-4 序列 化 性 能 对 比 图 








从 图 6-4 可 以 看 出 ， 无 论 是 序列 化 后 的 码 流 大 小 ， 还 是 序列 化 的 性 
能 ，JDK 默 认 的 序列 化 机 制 表现 得 都 很 震 。 因 此 ， 我 们 通 和 不 会 选择 
Java 序 列 化 作为 远程 路 节点 调用 的 编 解 码 框架 。 





但 是 不 使 用 JDK 提 供 的 默认 友 列 化 框 染 ， 自 己 开发 编 解码 框 染色 是 


个 非常 复杂 的 工作 ， 怎 么 办 呢 ? 不 用 着 急 ， 业 界 有 很 多 优秀 的 纺 解 码 杠 
染 ， 它 们 在 克服 了 JDK 默 认 序列 化 框架 缺点 的 基础 上 ， 还 增加 了 很 多 腕 
扩 ， 下 面 让 我 们 继续 了 解 并 学 习 业 界 流行 的 几 丈 编 解 码 框架 。 


6.2 ”业界 主流 的 编 解码 框架 


由 于 Java 的 编 解 码 框 染 五 花 八 门 ， 穷 举 学 习 显 然 不 是 一 个 好 的 入 
略 ， 本 市 挑选 了 一 些 业界 主流 的 编 解 码 框 架 和 编 解 码 技术 进行 介绍 ， 硕 
望 读 者 在 了 解 这 些 框 染 特性 的 基础 上 ， 做 出 合理 的 选择 。 





6.2.1 ” Google 的 Protobuf 介 绍 


Protobuf 全 称 Google Protocol Buffers， 它 由 谷歌 开源 而 来 ， 在 谷歌 
内 部 久 经 考验 。 它 将 数据 结构 以 .proto 文 件 进行 描述 ， 通 过 代码 生成 工 
具 可 以 生成 对 应 数据 结构 的 POJO 对 象 和 Protobuf 相 关 的 方法 和 属性 。 


它 的 特点 如 下 。 


结构 化 数据 存储 格式 XML，JSON 等 ) ; 
高 效 的 编 解码 性 能 ; 

语言 无 天 、 平 台 无 和 天、 扩展 性 好 ，; 

官方 支持 Java、C++ 和 Python 三 种 语言 。 


首先 我 们 来 看 下 为 什么 不 使 用 XML， 尽 管 XML 的 可 读 性 和 可 扩展 
性 非常 好 ， 也 非常 适合 描述 数据 结构 ， 但 是 XML 解析 的 时 间 开 销 和 
XML 为 了 可 读 性 而 牺牲 的 空间 开销 都 非常 大 ， 因 此 不 适合 做 高 性 能 的 
通信 协议 。Protobuf 使 用 二 进 制 编码 ， 在 空间 和 性 能 上 具有 更 大 的 优 


势 。 


Protobuf 妃 一 个 比较 吸引 人 的 地 方 就 是 它 的 数据 描述 文件 和 代码 生 
成 机 制 ， 利 用 数据 描述 文件 对 数据 结构 进行 说 明 的 优点 如 下 。 





文本 化 的 数据 结构 描述 语言 ， 可 以 实现 语言 和 平台 无 天， 特别 适合 
异 构 系 统 间 的 集成 ; 

通过 标识 字段 的 顺序 ， 可 以 实现 协议 的 前 向 兼容 ; 

目 动 代 码 生 成 ， 不 需要 手工 编写 同样 数据 结构 的 C++ 和 Java 版 本 ; 
方便 后 续 的 管理 和 维护 。 相 比 于 代码 ， 结 构 化 的 文档 更 容易 管理 和 
维护 。 


下 面 我 们 看 下 Protobuf 编 解码 和 其 他 几 种 序列 化 框架 的 性 能 对 比 数 
据 ， 如 图 6-5、 图 6-6 所 示 。 














图 6-5 ”Protobuf 编 解码 和 其 他 几 种 序列 化 框架 的 啊 应 时 间 对 比 








图 6-6 ”Protobuf 和 其 他 几 种 序列 化 框架 的 字 节 数 对 比 





从 图 6-5 和 图 6-6 两 幅 对 比 图 可 以 发 现 ，Protobuf 的 编 解 码 性 能 远 远 高 
于 其 他 几 种 序列 化 框架 的 序列 化 和 反 序 列 化 ， 这 也 是 很 多 RPC 框 架 选 用 
Protobuf 做 编 解 码 框 架 的 原因 。 


6.2.2 Facebook 的 Thrift 介 绍 


Thrift 源 于 Facebook， 在 2007 年 Facebook 将 Thrift 作 为 一 个 开源 项 目 
提交 给 Apache 基 金 会 。 对 于 当时 的 Facebook 来 说 ， 创 造 Thrift 是 为 了 解 
决 Facebook 各 系统 间 大 数据 量 的 传输 通信 以 及 系统 之 间 语 言 环 境 不 同 需 
要 路 平台 的 特性 ， 因 此 Thrift 可 以 文 持 多 种 程序 语言 ， 如 C++、C#、 
Cocoa、Erlang、Haskell、Java、Ocami、Perl、PHP、Python、Ruby 和 
Smalltalk. 





在 多 种 不 同 的 语言 之 间 通 信 ，Thrift 可 以 作为 高 性 能 的 通信 中 间 件 
使 用 ， 它 文 持 数据 〈 对 象 ) 序列 化 和 多 种 类 型 的 RPC 服 务 。Thrift 适 用 


于 静态 的 数据 交换 ， 需 要 先 确 定好 它 的 数据 结构 ， 当 数据 结构 发 生变 化 
时 ， 必 须 重 新 编辑 IDL 文 件 ， 生 成 代码 和 编译 ， 这 一 点 跟 其 他 IDL 工 具 
相 比 可 以 视 为 是 Thrift 的 弱项 。Thrift 适 用 于 搭建 大 型 数据 交换 及 存储 的 
通用 工具 ， 对 于 大 型 系统 中 的 内 部 数据 传输 ， 相 对 于 JSON 和 XML 在 性 
能 和 传输 大 小 上 都 有 明显 的 优势 。 


Thrift 主 要 由 5 部 分 组 成 。 


(1) 语言 系统 以 及 IDL 编 译 器 : 负 贡 由 用 户 给 定 的 IDL 文 件 生 成 相 
应 语言 的 接口 代码 ; 





(2) TProtocol: RPC 的 协议 层 ， 可 以 选择 多 种 不 同 的 对 象 序 列 化 
方式 ， 如 JSON 和 Binary; 


(3) TTransport: RPC 的 传输 层 ， 同 样 可 以 选择 不 同 的 传输 层 实 
现 ， 如 socket、NIO、MemoryBuffer 等 ; 


(4) TProcessor: 作为 协议 层 和 用 户 提 供 的 服务 实现 之 间 的 纽带 ， 
负责 调用 服务 实现 的 接口 


(5) TServer: 聚合 TProtocol、TTransport 和 TProcessor 等 对 象 。 


我 们 重点 关注 的 是 编 解 码 框架 ， 与 之 对 应 的 就 是 TProtocol。 由 于 
Thrift 的 RPC 服 务 调用 和 编 解 码 框架 绑 定 在 一 起 ， 所 以 ， 通 常 我们 使 用 
Thrift 的 时 候 会 采取 RPC 框 架 的 方式 。 但 是 ， 它 的 TProtocol 编 解码 框架 
还 是 可 以 以 类 库 的 方式 独立 使 用 的 。 





与 Protobuf 比 较 类 似 的 是 ，Thrift 通 过 IDL 描 述 接口 和 数据 结构 定 
义 ， 它 支持 8 种 Java 基 本 类 型 、Map、Set 和 List， 支 持 可 选 和 必 选 定义 ， 
功能 非常 强大 。 因 为 可 以 定义 数据 结构 中 字段 的 顺序 ， 所 以 它 也 可 以 文 


持 协 议 的 前 问 兼 容 。 
Thrift 文 持 三 种 比较 典型 的 编 解 码 方式 。 


e. 通用 的 二 进 制 编 解 码 ; 
o 压缩 二 进 制 编 解 码 ; 
o 优化 的 可 选 字段 压缩 编 解码 。 


由 于 支持 二 进 制 压缩 编 解码 ，Thrift 的 编 解码 性 能 表现 也 相当 优 
寞 ， 远 远 超过 Java 序 列 化 和 RMI 等 ， 图 6-7 展 示 了 同等 测试 条 件 下 的 编 解 
人 码 耗 时 信息 。 





图 6-7 ”Thrift 性 能 测试 对 比 图 








6.2.3 JBoss Marshalling 介 绍 


JBoss Marshalling 是 一 个 Java 对 象 的 序列 化 API 包 ， 修 正 了 JDK 自 市 
的 序列 化 包 的 很 多 问题 ， 但 又 保持 跟 java.io.Serializable 接 口 的 兼容 ， 同 
时 增加 了 一 些 可 调 的 参数 和 附加 的 特性 ， 并 且 这 些 参数 和 特性 可 通过 工 
F 类 进行 配置 


相 比 于 传统 的 Java 序 列 化 机 制 ， 它 的 优点 如 下 : 


可 插 拔 的 类 解析 器 ， 提 供 更 加 便捷 的 类 加 载 定 制 策 略 ， 通 过 一 个 接 
口 即 可 实现 定制 ; 

可 插 拔 的 对 象 殖 换 技术 ， 不 需要 通过 继承 的 方式 ; 

可 插 拔 的 预定 义 类 绥 存 表 ， 可 以 减 小 序列 化 的 字 节 数组 长 度 ， 提 升 
常用 类 型 的 对 象 序列 化 性 能 ; 

e 无 须 实 现 java.io.Serializable 接 口 ， 即 可 实现 Java 序 列 化 ; 





。 通过 缓存 技 术 提 升 对 象 的 序列 化 性 能 。 


相 比 于 前 面 介绍 的 两 种 编 解码 框架 ，JBoss ”Marshalling 更 多 是 在 
JBoss 内 部 使 用 ， 应 用 范围 有 限 。 


JBoss Marshalling 的 使 用 非常 简单 ， 后 续 在 介绍 Netty 的 Marshalling 
AAT aS IN gan BITE 
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本 章 首先 对 Java 的 序列 化 技术 进行 了 介绍 ， 对 Java 序 列 化 的 缺点 进 
行 了 总 结 说 明 ， 在 此 基础 上 引出 了 几 款 业界 主流 的 编 解码 框架 。 由 于 纺 
解码 框架 种 类 繁多 ， 无 法 一 一 枚 举 ， 所 以 重点 介绍 了 当前 最 流行 的 几 种 
编 解码 框架 。 后 续 在 第 7 章 我 们 会 对 这 些 编 解码 框架 的 使 用 进行 说 明 ， 
并 给 出 具体 的 示例 ， 同 时 ， 讲 解 如 何在 Netty 中 应 用 这 些 编 解码 框架 。 
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相信 大 多 数 Java 程 序 员 接 触 到 的 第 一 种 序列 化 或 者 编 解码 技术 融 是 
Java 的 默认 序列 化 ， 只 需要 序列 化 的 POJO 对 象 实现 java.io.Serializable 接 
口 ， 根 据 实际 情况 生成 序列 ID， 这 个 类 就 能 够 通过 java.io.ObjectInput 和 
java.io.ObjectOutput 序 列 化 和 反 序 列 化 。 





不 圾 要 考虑 跨 语 言 调用 ， 对 序列 化 的 性 能 也 没有 苛刻 的 要 求 时 ， 
Java 默 认 的 序列 化 机 制 是 最 明智 的 选择 之 一 。 正 因为 此 ， 虽 然 Java 序 列 
化 机 制 存 在 着 一 些 浆 病 ， 却 依然 得 到 了 广泛 的 应 用 。 


本 章 主 要 内 容 包括 : 


Netty Java 序 列 化 服务 端 开发 
Netty Java F IWR P mI R 
运行 Java 序 列 化 应 用 例 程 


7.1 Netty Java 序 列 化 服务 端 开 发 


服务 端 开发 的 场景 如 下 : Netty 服 务 问 接收 到 客户 端的 用 户 订 购 请 
SUL, TAME MWS 7-1 TA o 


427-1 SubscribeReq 消 息 定义 








服务 端 接收 到 请 求 消息 ， 对 用 户 名 进行 合法 性 校 验 。 如 果 合 法 ， 则 
构造 订购 成 功 的 应 答 消 息 返 回 给 客户 端 。 订 购 应 答 消息 的 定义 如 表 7-2 
Bra. 





表 7-2 ”SubscribeResp 消 息 定 义 





本 例 程 中 我 们 将 使 用 Netty 的 ObjectEncoder 和 ObjectDecoder 对 订购 
请 求 和 应 答 消 息 进 行 序列 化 。 

服务 端 开发 例 程 

使 用 Netty 对 POJO 对 象 进行 序列 化 的 开发 步骤 如 下 。 


(1) 在 服务 端 ChannelPipeline 中 新 增 解码 器 


io.netty.handler.codec.serialization. Object Decoder; 


(2) 在 服务 端 ChannelPipeline 中 新 增 编码 器 


io.netty.handler.codec.serialization.Object Encoder; 


(3) 需要 进行 Java 序 列 化 的 POJO 对 象 必须 实现 java.io.Serializable 
接口 。 


下 面 我 们 通过 产品 订购 例 程 来 学 习 如 何在 Netty 中 对 POJO 对 象 进行 
Java 序 列 化 。 


代码 清单 7-1 Netty Java 序 列 化 订购 请 求 POJO 类 定义 











9. public class SubscribeReq implements Serializable { 
10. 

11. Pr 

12. * 默认 的 序列 号 ID 

13. A. 

14. private static final long serialVersionUID = 1L; 
15. 

16. private int subReqID; 

17. 

18. private String userName; 
19. 

20. private String productName; 
21. 

22. private String phoneNumber; 
23. 

24. private String address; 

-— //get 和 set 方 法 

100. 

101. /* 

102. * (non-Javadoc) 

103. * 


104. * @see java.lang.Object#toString() 


105. 
106. 
107. 
108. 
109. 
110. 
111. 
112. 


*/ 
@Override 
public String toString() { 
return "SubscribeReq [subRegID=" + subReqID + ", 
+ ", productName=" + productName + ", phoneNu 


+ phoneNumber + ", address=" + address + "]"; 





SubscribeReq 是 个 普通 的 JOJO 对 象 ， 需 要 强调 的 有 两 点 。 


(1) 第 9 行 实现 Serializable 接 口 ; 


(2) 第 14 行 目 动 生成 默认 的 序列 化 ID。 


下 面 继续 看 订购 应 答 POJO 类 。 


代码 清单 7-2 Netty Java 序 列 化 ”订购 应 答 POJO 类 定义 





public class SubscribeResp implements Serializable { 


fi 
* 默认 序列 ID 
*/ 





private static final long serialVersionUID = 1L; 


private int subReqID; 


18. private int respCode; 





19. 

20. private String desc; 

//get 和 Set 方 法，… 

66. 

67. f 

68. * (non-Javadoc) 

69. E 

70. * @see java.lang.Object#toString() 
71. */ 

72. @Override 

73. public String toString() { 

74. return "SubscribeResp [subReqID-" + subReqID + ", r 
75 . + ", desc=" + desc + "|": 

76. } 

77. } 





应 答 消 息 非 常 简 单 ， 我 们 继续 看 订购 服务 主 函 数 定义 。 


代码 清单 7-3 Netty Java 序 列 化 “订购 服务 端 主 函 数 SubReqServer 





21. public class SubReqServer { 














22. public void bind(int port) throws Exception { 
23. // 配置 服务 端的 NIO 线 程 组 
24. EventLoopGroup bossGroup = new NioEventLoopGroup(); 


25. EventLoopGroup workerGroup = new NioEventLoopGroup( 


26. 
27. 
28. 
29, 
30. 
31. 
32. 
33. 
34. 
35. 


36. 


37. 


38. 


39. 


try { 


ServerBootstrap b = new ServerBootstrap(); 

b.group(bossGroup, workerGroup) 
.channel(NioServerSocketChannel.class) 
.option(ChannelOption.SO_BACKLOG, 100) 
.handler(new LoggingHandler(LogLevel.INFO)) 
.childHandler(new ChannelInitializer<Socket 
QOverride 
public void initChannel(SocketChannel ch) { 


ch.pipeline() 


.addLast( 


new ObjectDecoder( 


1024 * 1024, 


ClassResolvers 


40. 


41. 


42. 


43. 


44. 


45. 
46. 
47. 
48. 
49. 


.weakCachingConcurrentR 


.getClass() 


.getClassLoader())) 


ch.pipeline().addLast(new ObjectEncoder 


ch.pipeline().addLast(new SubReqServerH 


} 
J): 


// 绑 定 端 口 ， 同 步 等 待 成 功 


ChannelFuture f = b.bind(port).sync(); 





50. 
51. 
52. 
53. 
54. 
55. 
56. 
S45 
58. 
59. 
60. 
61. 
62. 
63. 
64. 
65. 
66. 
67. 
68. 
69. 
70. 
71. 


// 等 待 服务 端 监 听 端 口 关闭 

f.channel().closeFuture().sync(); 
} finally { 

// 优雅 退出 ， 释 放 线 程 池 资源 

bossGroup.shutdownGracefully(); 


workerGroup.shutdownGracefully(); 


public static void main(String[] args) throws Excep 
int port = 8080; 
if (args != null && args.length > ®) { 

try 1 

port = Integer.valueOf(args[0]); 

} catch (NumberFormatException e) { 


// 采用 默认 值 





} 
} 
new SubReqServer().bind(port); 
} 





从 35 行 开始 进行 分 析 。 首 先 创建 了 一 个 新 的 ObjectDecoder， 它 负责 
对 实现 Serializable 的 POJO 对 象 进行 解码 ， 它 有 多 个 构造 函数 ， 文 持 不 同 
的 ClassResolver， 在 此 我 们 使 用 weakCachingConcurrentResolver 创 建 线 





程 安全 的 WeakReferenceMap 对 类 加 载 器 进行 缓存 ， 它 文 持 多 线程 并 发 
访问 ， 当 虚拟 机 内 存 不 足 时 ， 会 释放 缓存 中 的 内 存 ， 防 止 内 存 泄漏 。 为 
了 防止 异常 码 流 和 解码 错位 导致 的 内 存 游 出， 这 里 将 单个 对 象 最 大 序列 
化 后 的 字 节 数组 长 度 设置 为 IM， 作 为 例 程 它 已 经 足够 使 用 。 








第 43 行 新 增 了 一 个 ObjectEncoder， 它 可 以 在 消息 发 送 的 时 候 自 动 将 
实现 Serializable 的 POJO 对 象 进行 编码 ， 因 此 用 户 无 须 杀 目 对 对 象 进行 手 
工序 列 化 ， 只 需要 关注 自己 的 业务 逻辑 处 理 即 可 ， 对 象 序列 化 和 反 序 列 
化 都 由 Netty 的 对 象 编 解码 器 搞定 。 





第 44 行 将 订购 处 理 handler SubReqServerHandler//s JH $l] 
ChannelPipelineNEH H FWA ZEA, FARNA T 
SubReqServerHandler 是 如 何 实现 的 。 


代码 清单 7-4 Netty Java 序 列 化 ”订购 服务 处 理 类 
SubReqServerHandler 





14. @Sharable 


15; public class SubReqServerHandler extends ChannelHandler. 
16. 

17. @Override 

18. public void channelRead(ChannelHandlerContext ctx, 
19. throws Exception { 

20. SubscribeReq req = (SubscribeReq) msg; 

21. if ("Lilinfeng".equalsIgnoreCase(req.getUserName()) 
22. System.out.println("Service accept client subsc 


23. + req.toString() + "]"); 


24. 
25. 
26. 
27. 
28. 
29. 
30. 
31. 
32. 
33. 
34. 
35. 
36. 
37. 
38. 
39. 
40. 
41. 


ctx.writeAndFlush(resp(req.getSubReqID())); 


private SubscribeResp resp(int subReqID) { 
SubscribeResp resp = new SubscribeResp(); 
resp.setSubReqID(subReqID); 

resp.setRespCode(0); 

resp.setDesc("Netty book order succeed, 3 days late 


return resp; 


j 


QOverride 

public void exceptionCaught(ChannelHandlerContext c 
cause.printStackTrace(); 

ctx.close();// 发 生 异 常 ， 关 闭 链 路 

} 








经 过 解码 器 handler ObjectDecoder 的 解码 ，SubReqServerHandler 接 
收 到 的 请 求 消息 已 经 被 上 自动 解码 为 SubscribeReq 对 象 ， 可 以 直接 使 用 。 
第 21 行 对 订购 者 的 用 户 名 进行 合法 性 校 验 ， 校 验 通 过 后 打印 订购 请 求 消 
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下 面 继续 进行 产品 订购 客户 端的 开发 。 


7.2 Java 序列 化 Netty 客 户 端 开 发 
客户 端的 设计 思路 如 下 。 


(1) 创建 客户 端的 时 候 将 Netty 对 象 解码 器 和 编码 器 添加 到 


ChannelPipeline; 


(2) 链 路 被 激活 的 时 候 构 造 订 购 请 求 消息 发 送 ， 为 了 检验 Netty 的 
Java 序 列 化 功能 是 否 支 持 TCP 粘 包 / 拆 包 ， 客 户 端 一 次 构造 10 条 订购 请 
求 ， 最 后 一 次 性 发 送 给 服务 端 ; 





(3) 客户 端 订购 处 理 handler 将 接收 到 的 订购 啊 应 消息 打印 出 来 。 
下 面 我 们 具体 看 下 客户 端的 代码 实现 。 
Fig FP AC RE 


代码 清单 7-5 Netty Java 序 列 化 ”产品 订购 客户 端 





19. public class SubReqClient { 

















20. 

21, public void connect(int port, String host) throws E 
22. // 配置 客户 端 NIO 线 程 组 

23% EventLoopGroup group = new NioEventLoopGroup(); 

24. try { 

25; Bootstrap b = new Bootstrap(); 

26. b.group(group).channel(NioSocketChannel.class) 


27. .option(ChannelOption.TCP_NODELAY, true) 


28. 
294 
30. 
31. 
32. 


33. 


34. 


35. 


36. 


37. 


.handler (new ChannelInitializer<SocketChann 

@Override 

public void initChannel(SocketChannel ch) 
throws Exception { 


ch. pipeline().addLast( 


new ObjectDecoder(1024, ClassResolv 


.cacheDisabled(this.getClass() 


.getClassLoader( )))); 


ch.pipeline().addLast(new ObjectEncoder 


ch.pipeline( ).addLast(new SubRegClientH 


38. 
39. 
40. 
41. 
42. 
43. 
44. 
45. 
46. 
47. 
48. 
49. 
50. 
51. 
52. 
53. 
54. 
55, 
56. 
57. 
58. 
59. 
60. 
61. 
62. 
63. 


} 
J): 


// 发 起 异步 连接 操作 


ChannelFuture f = b.connect(host, port).sync(); 





// 等 待 客户 端 链 路 关闭 

f.channel().closeFuture().sync(); 
} finally { 

// 优雅 退出 ， 释 放 NI0 线 程 组 

group.shutdownGracefully(); 





Jee 
* @param args 
* @throws Exception 
*/ 
public static void main(String[] args) throws Excep 
int port = 8080; 
if (args != null && args.length > 0) { 
try { 
port = Integer.valueOf(args[0]); 
} catch (NumberFormatException e) { 
// 采用 默认 值 
} 





64. } 


65. new SubReqClient().connect(port, "127.0.0.1"); 
66. } 
67. } 
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块 化 编程 中 经 常 使 用 。 由 于 OSGi 的 bundle 可 以 进行 热 部 署 和 热 升 级 ， 当 
菏 个 bundle 升 级 后 ， 它 对 应 的 关 加 载 器 也 将 一 起 升级 ， 因 此 在 动态 模块 
化 编程 过 程 中 ， 很 少 对 类 加 载 器 进行 缓 仔 ， 因 为 它 随 时 可 能 会 发 生变 
We 





下 面 继续 看 下 SubReqClientHandler 的 实现 。 


代码 清单 7-6 Netty Java 序 列 化 ”产品 订购 客户 端 
SubReqClientHandler 





12. public class SubReqClientHandler extends ChannelHandler. 


13. 

14. ER 

15. * Creates a client-side handler. 

16. Sf 

17. public SubReqClientHandler() { 

18. } 

19. 

20. @Override 

21. public void channelActive(ChannelHandlerContext ctx 


22. for (int i = 0; i < 10; i++) { 


ctx.write(subReq(i)); 
} 
ctx.flush(); 


} 


private SubscribeReq subReq(int i) { 
SubscribeReq req - new SubscribeReq(); 


req,setAddress(" 南 京 市 江宁 区 方 山 国家 地 质 公园 " ) ; 





req.setPhoneNumber (" 138XXXXXXXXxx" ) ; 
req.setProductName("Netty 权威 指南 " ) ， 
reg.setSubReqID(i); 
req.setUserName("Lilinfeng"); 


return req; 


} 


@Override 
public void channelRead(ChannelHandlerContext ctx, 
throws Exception { 


System.out.println("Receive server response : [" + 


} 


@Override 
public void channelReadComplete(ChannelHandlerConte 


ctx.flush(); 
} 


@Override 


50. public void exceptionCaught(ChannelHandlerContext c 


51. cause.printStackTrace(); 
52. ctx.close(); 

53. } 

54. } 








第 22 一 25 行 ， 在 链 路 激活 的 时 候 循环 构造 10 条 订购 请 求 消息 ， 最 后 
TR PET AR 5 AR m o 





由 于 对 象 解码 器 已 经 对 订购 请 求 应 答 消 息 进 行 了 自动 解码 ， 因 此 ， 
SubReqClientHandler 接 收 到 的 消息 已 经 是 解码 成 功 后 的 订购 应 答 消 息 。 


下 面 的 小 节 将 执行 我 们 前 面 开发 的 订购 请 求 客 尸 端 和 服务 端 ， 看 下 
执行 结果 是 否 符合 设计 预期 。 








73 ”运行 结果 
运行 Java 序 列 化 例 程 


首先 运行 服务 端 ， 然 后 运行 客户 端 ， 运 行 结 末 如 下 。 
服务 端 运行 结果 如 下 。 





1094j:WARN No appenders could be found for logger (io.netty.u 
log4j:WARN Please initialize the log4j system properly. 

Service accept client subscribe req : [SubscribeReq [subReqID 
Service accept client subscribe req : [SubscribeReq [SubReqID 
Service accept client subscribe req : [SubscribeReq [subReqID 
Service accept client subscribe req : [SubscribeReq [subReqID 
Service accept client subscribe req : [SubscribeReq [subReqID 
Service accept client subscribe req : [SubscribeReq [SubReqID 
Service accept client subscribe req : [SubscribeReq [subReqID 
Service accept client subscribe req : [SubscribeReq [SubReqID 
Service accept client subscribe req : [SubscribeReq [subReqID 


Service accept client subscribe req : [SubscribeReq [SubReqID 





尽管 客户 端 一 次 批量 发 送 了 10 条 订购 请 求 消息 ，TCP 会 对 请 求 消息 
进行 粘 包 和 拆 包 ， 但 是 并 没有 影响 最 终 的 运行 结果 : 服务 端 成 功 收 到 了 
10 条 订购 请 求 消 息 ， Eze] 出 发 送 的 一 BL o 








客户 端 运行 结果 如 下 。 





10g4j:WARN No appenders could be found for logger (io.netty.u 
1094j:WARN Please initialize the log4j system properly. 

Receive server response : [SubscribeResp [subReqID-0, respCod 
Receive server response : [SubscribeResp [subReqID-1, respCod 
Receive server response : [SubscribeResp [subRegID-2, respCod 
Receive server response : [SubscribeResp [subReqID-3, respCod 
Receive server response : [SubscribeResp [subReqID-4, respCod 
Receive server response : [SubscribeResp [subReqID-5, respCod 
Receive server response : [SubscribeResp [subReqID-6, respCod 
Receive server response : [SubscribeResp [subReqID-7, respCod 
Receive server response : [SubscribeResp [subReqID-8, respCod 


Receive server response : [SubscribeResp [subReqID-9, respCod 





客户 端 接收 到 了 10 条 订购 应 答 消息 ，Netty 的 ObjectEncoder 编 码 器 
可 以 自动 对 订购 应 答 消 息 进 行 序列 化 ， 然 后 发 送 给 客户 端 ， 客 户 端 的 
ObjectDecoder 对 人 码 流 进行 反 序 列 化 ， 获 得 订购 请 求 应 答 消 息 。 


7.4 总结 

本 章 介绍 了 如 何 利 用 Netty 提 供 的 ObjectEncoder 编 码 器 和 
ObjectDecoder 解 码 器 实现 对 普通 POJO 对 象 的 序列 化 。 通 过 订购 图 书 例 
程 ， 我 们 学 习 了 服务 端 和 客户 端的 开发 ， 并 且 模 拟 了 TCP 粘 包 / 拆 包 场 
景 ， 对 运行 结果 进行 了 分 析 。 





通过 使 用 Netty 的 Java 序 列 化 编 解 码 handler， 用 户 通过 短 短 的 几 行 代 
码 ， 就 能 完成 POJO 的 序列 化 和 反 序 列 化 。 在 业务 处 理 handler 中 ， 用 户 
只 需要 将 精力 聚焦 在 业务 逻辑 的 实现 上 ， 不 需要 关心 底层 的 编 解 码 细 
节 ， 这 极 大 地 提升 了 开发 效率 。 


下 一 章 我 们 继续 学 习 谷 歌 的 Protobuf， 看 在 Netty 中 如 何 使 用 
Protobuf 实 现 对 POJO 对 象 的 自动 编 解码 。 


第 8 章 Google Protobuf4a #43 


Google 的 Protobuf 在 业界 非常 流行 ， 很 多 商业 项 目 选择 Protobuf 作 为 
编 解码 框架 ， 这 里 一 起 回顾 一 下 Protobuf 的 优点 。 


OD 在 谷歌 内 部 长 期 使 用 ， 产 品 成 熟 度 高 ; 
(2) 跨 语 言 ， 支持 多 种 语言 ， 包括 C++、 Java 和 Python; 
(3) 编码 后 的 消 恩 更 小 ， 更 加 有 利于 存储 和 传输 ; 


(4) 编 解码 的 性 能 非常 高 ; 





(5) 文 持 不 同 协 议 版 本 的 前 向 兼容 ; 
(6) 文 持 定义 可 选 和 必 选 字段 。 


本 章 主 要 内 容 包 括 : 


Protobuf 的 入 门 

开发 支持 Protobuf 的 Netty 服 务 端 
开发 支持 Protobuf 的 Netty 客 户 端 
运行 基于 Netty 开 发 的 Protobuf 例 程 


8.1 Protobuf 的 入 门 


Protobuf 是 一 个 灵活 、 高 效 、 结 构 化 的 数据 序列 化 框架 ， 相 比 于 
XML 等 传统 的 序列 化 工具 ， 它 更 小 ， 更 快 ， 更 简单 。Protobuf 文 持 数据 
结构 化 一 次 可 以 到 处 使 用 ， 甚 至 跨 语言 使 用 ， 通 过 代码 生成 工具 可 以 自 
动 生成 不 同 语言 版 本 的 源 代码 ， 甚 至 可 以 在 使 用 不 同 版 本 的 数据 结构 进 
程 间 进行 数据 传递 ， 实 现 数据 结构 的 前 向 兼 容 。 











下 面 我 们 通过 一 个 简单 的 例 程 来 学 习 如 何 使 用 Protobuf 对 POJO 对 象 
进行 编 解码 ， 然 后 ， 我 们 以 这 个 例 程 为 基础 ， 学 习 如 何在 Netty 中 对 
POJO 对 象 进行 Protobuf 编 解码 ， 并 在 两 个 进程 之 间 进 行 通信 和 数据 交 
换 。 


8.1.1 Protobuf 开 发 环境 搭建 
首先 下 载 Protobuf 的 最 新 windows 版 本 ， 网 址 如 下 : 


http://code.google.com/p/protobuf/downloads/detail ?name=protoc- 
2.5.0-win32.zip&can-2&q- 


对 下 载 的 protoc-2.5.0-win32.zip 进 行 解压 ， 解 压 后 的 目录 如 图 8-1 所 





图 8-1 ”Protobuf 解 压 后 的 目录 








protoc.exe 工 具 主 要 根据 .proto 文 件 生成 代码 ， 下 面 我 们 以 第 7 章 的 订 
购 例 程 为 例 ， 定 义 SubscribeReq.proto 和 SubscribeResp.proto， 数 据 文 件 
定义 如 下 。 


e SubscribeReq.proto， 如 图 8-2 所 示 。 





图 8-2 SubscribeReq.proto 文 件 定义 


e SubscribeResp.proto， 如 图 8-3 所 示 。 





图 8-3” SubscribeResp.proto 文 件 定义 


通过 protoc.exe 命 令 行 生 成 Java 人 代码， 命令 行 如 图 8-4 所 示 . 





图 8-4 ”通过 protoc.exe 工 具 生成 源 代 码 


将 生成 的 POJO 代 人 码 SubscribeReqProto.java 和 SubscribeRespProto.java 
复制 到 对 应 的 Edlipse 工 程 中 ， 目 录 示 例如 图 8-5 所 示 。 


图 8-5 ”将 生成 的 POJO 代 码 拷贝 到 源 工程 中 


我 们 发 现代 码 编译 出 错 ， 原 因 是 缺少 protobuf-java-2.5.0.jar 包 ， 从 
Google 官 网 下 载 后 将 其 复制 到 lib 目 录 后 编译 到 引用 类 库 中 ， 如 网 8-6 所 
Io 


图 8-6 ”编译 Protobuf 工 程 


到 此 为 止 ，Protobuf 开 发 环境 已 经 搭建 完毕 ， 接 下 来 将 进行 示例 开 
Re 


8.1.2 ”Protobuf 编 解码 开发 


Protobuf 的 类 库 使 用 比较 简单 ， 下 面 我 们 就 通过 对 
SubscribeReqProto 进 行 编 解 码 来 介 


绍 Protobuf 的 使 用 。 


代码 清单 8-1 Protobuf 入 门 TestSubscribeReqProto 





12. public class TestSubscribeRedProto { 


13. 
14. 
15. 
16. 
17. 
18. 
19. 
20. 
21. 
22. 
23. 
24. 
25. 
26. 
27. 
28. 
29. 
30. 
31. 
32. 
33. 
34. 


private static byte[] encode(SubscribeReqProto.Subscri 


return req.toByteArray(); 
} 


private static SubscribeReqProto.SubscribeReq decode(b 
throws InvalidProtocolBufferException { 


return SubscribeReqProto.SubscribeReq.parseFrom(body); 


j 


private static SubscribeReqProto.SubscribeReq createSu 

SubscribeReqProto.SubscribeReq.Builder builder - Subsc 
.hewBuilder(); 

builder.setSubRegID(1); 

builder.setUserName("Lilinfeng"); 

builder.setProductName("Netty Book"); 

List<String> address = new ArrayList<>(); 

address.add("NanJing YuHuaTai"); 

address.add("BeiJing LiuLiChang"); 

address.add("Shenzhen HongShuLin"); 

builder.addAllAddress(address); 


return builder.build(); 


35. 
36. 
37. 
38. 
39. 
40. 
41. 
42. 
43. 
44. 
45. 
46. 
47. 
48. 
49. 


/** 

* (param args 

* Qthrows InvalidProtocolBufferException 

UA 
public static void main(String[] args) 

throws InvalidProtocolBufferException { 

SubscribeReqProto.SubscribeReq req - createSubscribeRe 
System.out.println("Before encode : " + req.toString() 


SubscribeReqProto.SubscribeReq req2 - decode(encode(re 


System.out.println("After decode : " + req.toString()) 
System.out.println("Assert equal : --» " + req2.equals 
} 





首先 我 们 看 如 何 创建 SubscribeReqProto.SubscribeReq 实 例 ， 第 24 行 
通过 SubscribeReqProto.SubscribeReq 的 静态 方法 newBuilder 创 建 
SubscribeReqProto.SubscribeReq 的 Builder 实 例 ， 通 过 Builder 构 建 嚣 对 
SubscribeReq 的 属性 进行 设置 ， 对 于 集合 类 型 ， 通 过 addAllXXX() 方 法 可 
以 将 集合 对 象 设置 到 对 应 的 属性 中 。 


编码 时 通过 调用 SubscribeReqProto.SubscribeReq 实 例 的 toByteArray 
即 可 将 SubscribeReq 编 码 为 byte 数 组 ， 使 用 非常 方便 。 


解码 时 通过 SubscribeReqProto.SubscribeReq 的 静态 方法 parseFrom 将 
二 进 制 byte 数 组 解码 为 原始 的 对 象 。 





由 于 Protobuf 文 持 复杂 POJO 对 象 编 解 码 ， 所 以 代码 都 是 通过 工具 目 
动 生成 ， 相 比 于 传统 的 POJO 对 象 的 赋值 操作 ， 其 使 用 略微 复杂 一 些 ， 
但 是 习惯 之 后 也 不 会 带 来 额外 的 工作 量 ， 主 要 差异 还 是 编程 习惯 的 不 
同 。 








Protobuf 的 编 解码 接口 非常 简单 和 实用 ， 但 是 功能 和 性 能 却 非常 强 
大 ， 这 也 是 它 流行 的 一 个 重要 原因 。 


下 个 小 节 我 们 将 执行 TestSubscribeReqProto， 看 它 的 功能 是 否 正 
"e 
8.1.3 ”运行 Protobuf 例 程 


我 们 运行 上 一 人 小节 编写 的 TestSubscribeReqProto 程 序 ， 看 经 过 编 解 
人 码 后 的 对 象 是 否 和 编码 之 前 的 初始 对 象 等 价 ， 代 人 码 执行 结果 如 图 8-7 所 
No 











图 8-7 ”Protobuf 编 解码 运行 结果 














运行 结果 表明 ， 经 过 Protobuf 编 解码 后 ， 生 成 的 
SubscribeReqProto.SubscribeRed 与 编码 前 原始 的 
SubscribeReqProto.SubscribeReq 等 价 。 


至 此 ， 我 们 已 经 学 会 了 如 何 搭建 Protobuf 的 开发 和 运行 环境 ， 并 初 
步 掌 握 了 Protobuf 的 编 解 码 接 口 的 使 用 方法 ， 而 且 通 过 实际 demo 的 开发 
和 运行 巩固 了 所 学 的 知识 。 从 下 个 小 节 开 始 ， 我 们 将 学 习 使 用 Netty 的 
Protobuf 编 解码 框架 。 


8.2 ”Netty 的 Protobuf 服 务 疹 开 发 


我 们 仍旧 以 第 7 章 的 例 程 作 为 demo 进 行 学 习 ， 看 看 如 何 开 发 出 一 个 
Protobuf 版 本 的 图 书 订 购 程序 。 


8.2.1 ”Protobuf 版 本 的 图 书 订购 服务 端 开发 
对 SubReqServer 进 行 升级 ， 代 人 码 如 下 。 


代码 清单 8-2 ”Protobuf 版 本 图 书 订购 代码 SubReqServer 





20. public class SubReqServer { 


21. public void bind(int port) throws Exception { 

22; // 配置 服务 端的 NIO 线程 组 

23% EventLoopGroup bossGroup = new NioEventLoopGroup(); 
24. EventLoopGroup workerGroup = new NioEventLoopGroup(); 
25. try { 

26. ServerBootstrap b = new ServerBootstrap(); 

27. b.group(bossGroup, workerGroup) 

28. .channel(NioServerSocketChannel.class) 

29. .option(ChannelOption.SO_BACKLOG, 100) 

30. .handler(new LoggingHandler(LogLevel.INFO)) 
31. .childHandler(new ChannelInitializer<SocketChan 
32. @Override 

33. public void initChannel(SocketChannel ch) { 


34. ch.pipeline().addLast( 


35. 


36. 


37. 


38. 


39. 


40. 


41. 


new ProtobufVarint32FrameDecoder()); 


ch.pipeline().addLast( 


new ProtobufDecoder( 


SubscribeReqProto.SubscribeReq 


.getDefaultInstance())); 


ch. pipeline().addLast( 


new ProtobufVarint32LengthFieldPrepender 


42. 


43. 


44. 
45. 
46. 
47. 
48. 
49. 
50. 
51. 
52. 
53. 
54. 
55. 
56. 
57. 
58. 
59. 


ch.pipeline().addLast(new ProtobufEncoder()) 


ch.pipeline().addLast(new SubReqServerHandle 


} 
J): 


// 绑 定 端 口 ， 同 步 等 待 成 功 


ChannelFuture f = b.bind(port).sync(); 





// 等 待 服务 端 监 听 端 口 关闭 

f.channel().closeFuture().sync(); 
} finally { 

// 优雅 退出 ， 释 放 线 程 池 资源 

bossGroup.shutdownGracefully(); 





workerGroup.shutdownGracefully(); 


public static void main(String[] args) throws Exception 


60. int port = 8080; 





61. if (args != null && args.length > 0) { 
62. try { 

63. port = Integer.valueOf(args[0]); 
64. } catch (NumberFormatException e) { 
65. // 采用 默认 值 

66. } 

67. } 


68. new SubReqServer().bind(port); 
69. } 
70. } 





353447 B Zu IH] ChannelPipelinefsIIProtobufV arint32FrameDecoder, 
它 主 要 用 于 半 包 处 理 ， 随 后 继续 添加 ProtobufDecoder 解 码 器 ， 它 的 参数 
是 com.google.protobuf.MessageLite， 实 际 上 就 是 要 告诉 ProtobufDecoder 
需要 解码 的 目标 类 是 什么 ， 否 则 仅仅 从 字 节 数组 中 是 无 法 判断 出 要 解码 


的 目标 类 型 信息 的 。 








下 面 我 们 继续 看 SubReqServerHandler 的 实现 。 


代码 清单 8-3 ”Protobuf 版 本 图 书 订购 代码 SubReqServerHandler 





11. @Sharable 

12. public class SubReqServerHandler extends ChannelHandlerAd 
13. 

14. @Override 


15. public void channelRead(ChannelHandlerContext ctx, Obj 


16. 
17. 
18. 
19. 
20. 
21. 
22. 
23. 
24. 
25. 
26. 
27. 
28. 
29. 
30. 
31. 
32. 
33. 
34. 
35. 
36. 
37. 
38. 
39. 


throws Exception { 
SubscribeReqProto.SubscribeReq req = (SubscribeReqProt 
if ("Lilinfeng".equalsIgnoreCase(req.getUserName())) { 
System.out.println("Service accept client subscribe 
+ req.toString() + "]"); 


ctx.writeAndFlush(resp(req.getSubReqID())); 


private SubscribeRespProto.SubscribeResp resp(int subRe 
SubscribeRespProto.SubscribeResp.Builder builder = Sub 
.newBuilder(); 

builder .setSubReqID(subReqID) ; 

builder.setRespCode(0); 

builder.setDesc("Netty book order succeed, 3 days late 


return builder.build(); 
} 


@Override 

public void exceptionCaught(ChannelHandlerContext ctx, 
cause.printStackTrace(); 

ctx.close();// 发 生 异 常 ， 关 闭 链 路 

} 














由 于 ProtobufDecoder 已 经 对 消息 进行 了 目 动 解码 ， 因 此 接收 到 的 订 





购 请 求 消息 可 以 直接 使 用 。 对 用 户 名 进行 校 验 ， 校 验 通过 后 构造 应 答 消 
息 返 回 给 客户 端 ， 由 于 使 用 了 ProtobufEncoder， 所 以 不 需要 对 
SubscribeRespProto.SubscribeResp 进 行 手工 编码 。 


下 个 小 节 我 们 继续 看 客户 端的 代码 实现 。 





8.2.2. ”Protobuf 版 本 的 图 书 订 购 客 户 端 开 发 


与 第 7 章 的 demo 类 似 ， 唯 一 不同 的 就 是 订购 请 求 消息 使 用 Protobuf 
BET IB E nfi 83, 


代码 清单 8-4 ”Protobuf 版 本 图 书 订 购 代码 SubReqClient 





20. public class SubReqClient { 


21. 
22. 
23. 
24. 
25. 
26. 
27. 
28. 
29. 
30. 
31. 
32. 
33. 


public void connect(int port, String host) throws Exce 


// 配置 客户 端 NIO 线程 组 

















EventLoopGroup group = new NioEventLoopGroup(); 
try { 
Bootstrap b = new Bootstrap(); 
b.group(group).channel(NioSocketChannel.class) 
.option(ChannelOption.TCP_NODELAY, true) 
.handler(new ChannelInitializer<SocketChannel>( 
@Override 
public void initChannel(SocketChannel ch) 
throws Exception { 


ch. pipeline().addLast( 


34. 


35. 


36. 


37. 


38. 


39. 


40. 


new ProtobufVarint32FrameDecoder()); 


ch.pipeline().addLast( 


new ProtobufDecoder( 


SubscribeRespProto.SubscribeResp 


.getDefaultInstance())); 


ch.pipeline().addLast( 


new ProtobufVarint32LengthFieldPrepender 


41. 


42. 


43. 
44. 
45. 
46. 
47. 
48. 
49. 
50. 
51. 
52. 
53. 
54. 
55, 
56. 
57. 
58. 


ch.pipeline().addLast(new ProtobufEncoder( )) 


ch.pipeline().addLast(new SubReqClientHandle 


} 
J): 


// 发 起 异步 连接 操作 


ChannelFuture f = b.connect(host, port).sync(); 





// 等 待 客户 端 链 路 关闭 

f.channel().closeFuture().sync(); 
} finally { 

// 优雅 退出 ， 释 放 NIO 线程 组 

group.shutdownGracefully(); 





[EF 


* @param args 


* @throws Exception 
*/ 
public static void main(String[] args) throws Exception 
int port = 8080; 
if (args != null && args.length > 0) { 
try { 
port = Integer.valueOf(args[0]); 
} catch (NumberFormatException e) { 
// 采用 默认 值 
j 





} 
new SubReqClient().connect(port, "127.0.0.1"); 


j 





需要 指出 的 是 客户 端 需要 解码 的 对 象 是 订购 啊 应 ， 所 以 第 37 一 38 行 
使 用 SubscribeResp 


Proto.SubscribeResp 的 实例 做 入 参 。 


代码 清单 8-5 ”Protobuf 版 本 图 书 订 购 代 码 SubReqClientHandler 





13. 
14. 
15, 
16. 
17. 


public class SubReqClientHandler extends ChannelHandlerAd 


fom 
* Creates a client-side handler. 


Be 


18. 
19. 
20. 
21. 
22. 
23. 
24. 
25. 
26. 
27. 
28. 
29. 
30. 
31. 
32. 
33. 
34. 
35. 
36. 
37. 
38. 
39. 
40. 
41. 
42. 
43. 
44. 


public SubReqClientHandler() { 
j 


QOverride 

public void channelActive(ChannelHandlerContext ctx) { 
for (int i = 0; i < 10; i++) ( 

ctx.write(subReq(i)); 


} 
ctx.flush(); 


} 


private SubscribeReqProto.SubscribeReq subReq(int i) { 
SubscribeReqProto.SubscribeReq.Builder builder - Subsc 
.hewBuilder(); 
builder.setSubRegID(i); 
builder.setUserName("Lilinfeng"); 
builder.setProductName("Netty Book For Protobuf"); 
List<String> address = new ArraylList<>(); 
address.add("NanJing YuHuaTai"); 
address.add("BeiJing LiuLiChang"); 
address.add("Shenzhen HongShuLin"); 
builder.addAllAddress(address); 


return builder.build(); 
} 


@Override 


public void channelRead(ChannelHandlerContext ctx, Obj 


45. throws Exception { 


46. System.out.println("Receive server response : [" + msg 
47. } 

48. 

49. @Override 

50. public void channelReadComplete(ChannelHandlerContext 

51. ctx.flush(); 

52. } 

53. 

54. @Override 

55. public void exceptionCaught(ChannelHandlerContext ctx, 
56. cause.printStackTrace(); 

57. ctx.close(); 

58. } 

59. } 











客户 端 接收 到 服务 端的 应 答 消 息 之 后 会 直接 打印 ， 按 照 设 计 ， 应 该 
打印 10 次 。 下 面 我 们 就 测试 下 Protobuf 的 服务 端 和 客户 端 ， 看 它 是 否 能 
正常 运行 。 





8.2.3 ”Protobuf 版 本 的 图 书 订购 程序 功能 测试 
分 别 运行 服务 端 和 客户 端 ， 运 行 结果 如 下 。 


服务 端 运行 结果 如 下 。 





Service accept client subscribe req : [subReqID: 0 


userName: "Lilinfeng" 

productName: "Netty Book For Protobuf" 
address: "NanJing YuHuaTai" 

address: "BeiJing LiuLiChang" 


address: "ShenZhen HongShuLin" 


] 


Service accept client subscribe req : [subReqID: 


userName: "Lilinfeng" 

productName: "Netty Book For Protobuf" 
address: "NanJing YuHuaTai" 

address: "BeiJing LiuLiChang" 


address: "ShenZhen HongShuLin" 


] 


Service accept client subscribe req : [subRegID: 


userName: "Lilinfeng" 

productName: "Netty Book For Protobuf" 
address: "NanJing YuHuaTai" 

address: "BeiJing LiuLiChang" 


address: "ShenZhen HongShuLin" 


] 


Service accept client subscribe req : [subRegID: 


userName: "Lilinfeng" 

productName: "Netty Book For Protobuf" 
address: "NanJing YuHuaTai" 

address: "BeiJing LiuLiChang" 


address: "ShenZhen HongShuLin" 


] 


1 


2 


3 


Service accept client subscribe req : [subRegID: 


userName: "Lilinfeng" 

productName: "Netty Book For Protobuf" 
address: "NanJing YuHuaTai" 

address: "BeiJing LiuLiChang" 


address: "ShenZhen HongShuLin" 


] 


Service accept client subscribe req : [subReqID: 


userName: "Lilinfeng" 

productName: "Netty Book For Protobuf" 
address: "NanJing YuHuaTai" 

address: "BeiJing LiuLiChang" 


address: "ShenZhen HongShuLin" 


] 


Service accept client subscribe req : [subReqID: 


userName: "Lilinfeng" 

productName: "Netty Book For Protobuf" 
address: "NanJing YuHuaTai" 

address: "BeiJing LiuLiChang" 


address: "ShenZhen HongShuLin" 


] 


Service accept client subscribe req : [subReqID: 


userName: "Lilinfeng" 

productName: "Netty Book For Protobuf" 
address: "NanJing YuHuaTai" 

address: "BeiJing LiuLiChang" 


address: "ShenZhen HongShuLin" 


6 


7 


] 


Service accept client subscribe req : [subReqID: 


userName: "Lilinfeng" 

productName: "Netty Book For Protobuf" 
address: "NanJing YuHuaTai" 

address: "BeiJing LiuLiChang" 


address: "ShenZhen HongShuLin" 


] 


Service accept client subscribe req : [subReqID: 


userName: "Lilinfeng" 

productName: "Netty Book For Protobuf" 
address: "NanJing YuHuaTai" 

address: "BeiJing LiuLiChang" 


address: "ShenZhen HongShuLin" 


] 


客户 端 运 行 结 果 如 下 。 


Receive server response : [subRegID: 0 
respCode: 0 

desc: "Netty book order succeed, 3 days later, 
] 

Receive server response : [SubReqID: 1 
respCode: 0 


desc: "Netty book order succeed, 3 days later, 


] 


9 








Sent to the de 


Sent to the de 


Receive server response 
respCode: 0 
desc: 


] 


Receive server response 


"Netty book order 


respCode: 0 


desc: 


] 


Receive server response 


"Netty book order 


respCode: 0 


desc: 


] 


Receive server response 


"Netty book order 


respCode: 0 


desc: 


] 


Receive server response 


"Netty book order 


respCode: 0 


desc: 


] 


Receive server response 


"Netty book order 


respCode: 0 


desc: 


] 


Receive server response 


"Netty book order 


respCode: 0 


desc: "Netty book order 


[subReqID: 2 


succeed, 3 days 


[subReqID: 3 


succeed, 3 days 


[subReqID: 4 


succeed, 3 days 


[subReqID: 5 


succeed, 3 days 


[subReqID: 6 


succeed, 3 days 


[subReqID: 7 


succeed, 3 days 


[subReqID: 8 


succeed, 3 days 


later, 


later, 


later, 


later, 


later, 


later, 


later, 


sent 


sent 


sent 


sent 


sent 


sent 


sent 


to 


to 


to 


to 


to 


to 


to 


the 


the 


the 


the 


the 


the 


the 


de 


de 


de 


de 


de 


de 


de 


] 
Receive server response : [subRegID: 9 
respCode: 0 


desc: "Netty book order succeed, 3 days later, sent to the de 


] 





运行 结果 表明 ， 我 们 基于 Netty Protobuf 编 解码 框架 开发 的 图 书 订购 
程序 可 以 正常 工作 。 利 用 Netty 提 供 的 Protobuf 编 解码 能 力 ， 我 们 在 不 需 
要 了 解 Protobuf 实 现 和 使 用 细节 的 情况 下 就 能 轻松 文 持 Protobuf 编 解码 ， 
可 以 方便 地 实现 跨 语言 的 远程 服务 调用 和 与 周边 的 异 构 系 统 进行 通信 对 
接 。 








8.3 ”Protobuf 的 使 用 注意 事项 


ProtobufDecoder 仅 仅 负 责 解 码 ， 它 不 文 持 读 半 包 。 因 此 ， 在 
ProtobufDecoder 前 面 ， 一 定 要 有 能 够 处 理 读 半 包 的 解码 器 ， 有 三 种 方式 
可 以 选择 。 


e 使 用 Netty 提 供 的 ProtobufVarint32FrameDecoder， 它 可 以 处 理 半 包 
消息 ; 

e. 继承 Netty 提 供 的 通用 半 包 解码 器 LengthFieldBasedFrameDecoder; 

e 继承 ByteToMessageDecoder 类 ， 目 己 处 理 半 包 消 息 。 


如 果 你 只 使 用 ProtobufDecoder 解 码 器 而 忽略 对 半 包 消息 的 处 理 ， 程 
序 是 不 能 正常 工作 的 。 以 前 面 的 图 书 订 购 为 例 对 服务 端 代码 进行 修改 ， 
注释 掉 ProtobufVarint32FramepDecoder， 代 码 修 改 如 图 8-8 所 示 。 





图 8-8 注释 掉 ProtobufVarint32FrameDecoder 





运行 程序 ， 结 果 如 图 8-9 所 示 ， 运 行 出 错 。 











图 8-9 ”注释 掉 ProtobufVarint32FrameDecoder 运 行 出 错 

















84 上 总结 

本 章 首 先 介绍 了 Protobuf 的 入 门 知 识 ， 通 过 一 个 简单 的 样 例 代码 开 
发 让 读者 熟悉 了 如 何 使 用 Protobuf 对 POJO 对 象 进行 编 解 码 ; 在 掌握 了 
Protobuf 的 基础 知识 之 后 ， 讲 解 如 何 使 用 Netty 的 Protobuf 编 解码 框架 进 
行 客户 端 和 服务 端的 开发 : 最 后 ， 对 Protobuf 解 码 器 的 使 用 陷阱 进行 了 
说 明 ， 并 给 出 了 正确 的 使 用 建议 。 








在 下 一 草 中 ， 我 们 继续 学 习 另 一 种 序列 化 技术 一 一 JBoss 的 
Marshalling 序 列 化 框架 ， 它 是 JBoss 内 部 使 用 的 序列 化 框架 ，Netty 提 供 
了 Marshalling 编 码 和 解码 器 ， 方 便 用 户 在 Netty 中 使 用 Marshalling。 第 9 
章 适 用 于 对 Marshalling 框 架 感 兴趣 的 读者 ， 如 果 你 想 直 接 学 习 后 面 的 知 
识 ， 也 可 以 跳 过 第 9 章 。 








29% JBoss Marshalling 编 解 公 


JBoss Marshalling 是 一 个 Java 对 象 序列 化 包 ， 对 JDK 默 认 的 序列 化 框 
架 进 行 了 优化 ， 但 又 保持 跟 java.io.Serializable 接 口 的 兼容 ， 同 时 增加 了 
一 些 可 调 的 参数 和 附加 的 特性 ， 这 些 参数 和 特性 可 通过 工厂 类 进行 配 
置 。 


本 章 主 要 内 容 包括 : 


e Marshalling 开 发 环境 准备 
Netty 的 Marshalling 服 务 端 开 发 
Netty 的 Marshalling 客 户 端 开 发 
运行 Marshalling 例 程 


9.1 Marshalling 开 发 环境 准备 


首先 下 载 相关 的 Marshalling 类 库 ， 由 于 我 们 只 是 用 到 了 它 的 序列 化 
类 库 ， 因 此 ， 只 需要 下 载 jboss-marshalling-1.3.0 和 jboss-marshalling- 
serial-1.3.0 类 库 即 可 ， 下 载 网 址 如 下 : 





https://www.jboss.org/jbossmarshalling/downloads 


在 页 面 上 选择 JBoss Marshalling API 和 JBoss Marshalling Serial 
Protocol 进 行 下 载 ， 如 图 9-1 所 示 。 





图 9-1 Marshalling 类 库 下 载 





将 下 载 的 类 库 build 到 classpath 中 ， 如 图 9-2 所 示 。 

















图 9-2 ”将 Marshalling 添 加 到 引用 类 库 中 











Marshalling 开 发 环境 搭建 完成 之 后 ， 我 们 开始 学 习 Marshalling 服 务 
m BT A e 


9.2 ”Netty 的 Marshalling 服 务 端 开发 


首先 定义 POJO 对 象 ， 由 于 JBoss 的 Marshalling 完 全 兼容 JDK 序 列 
化 ， 因 此 我 们 继续 使 用 第 7 章 定义 的 SubscribeReqd 和 SubscribeResp 对 象 。 
通过 JBoss 提供 的 序列 化 API， 对 SubscribeReqd 和 SubscribeResp 进 行 编 解 
码 。 由 于 Netty 对 JBoss 的 编 解 码 类 库 进 行 了 封装 ， 下 面 通 过 网 书 订购 的 
实例 看 看 如 何 使 用 Netty 的 Marshalling 编 解码 类 对 消 恩 进行 序列 化 和 反 序 
列 化 。 


HRA IT AC AN Bil 
首先 看 下 服务 问 月 动 类 的 开 及 ， 代 码 如 下 。 


代码 清单 9-1 Marshalling 版 本 图 书 订购 代码 SubReqServer 





18. public class SubReqServer { 














19. public void bind(int port) throws Exception { 

20. // 配置 服务 端的 NIO 线 程 组 

21. EventLoopGroup bossGroup = new NioEventLoopGroup(); 
22, EventLoopGroup workerGroup = new NioEventLoopGroup( 
23. try { 

24. ServerBootstrap b = new ServerBootstrap(); 

25. b.group(bossGroup, workerGroup) 

26. .channel(NioServerSocketChannel.class) 

27. .option(ChannelOption.SO_BACKLOG, 100) 


28. .handler(new LoggingHandler(LogLevel.INFO)) 


29; 
30. 
31. 
32. 


33. 


34. 


35. 


36. 


37. 


.childHandler(new ChannelInitializer<Socket 
@Override 
public void initChannel(SocketChannel ch) { 


ch.pipeline().addLast( 


MarshallingCodeCFactory 


.buildMarshallingDecoder()); 


ch.pipeline().addLast( 


MarshallingCodeCFactory 


.buildMarshallingEncoder()); 


38. 
39. 
40. 
41. 
42. 
43. 
44. 
45. 
46. 
47. 
48. 
49. 
50. 
51. 
52. 
53. 
54. 
55, 
56. 
57. 
58. 
59. 
60. 
61. 
62. 
63. 
64. 


ch.pipeline().addLast(new SubReqServerH 


} 
J): 


// 绑 定 端 口 ， 同 步 等 待 成 功 


ChannelFuture f = b.bind(port).sync(); 





// 等 待 服务 端 监 听 端 口 关闭 

f.channel().closeFuture().sync(); 
} finally { 

// 优雅 退出 ， 释 放 线 程 池 资源 

bossGroup.shutdownGracefully(); 





workerGroup.shutdownGracefully(); 


public static void main(String[] args) throws Excep 
int port = 8080; 
if (args != null && args.length > 0) { 

try { 

port = Integer.valueOf(args[0]); 

} catch (NumberFormatException e) { 

// 采用 默认 值 

} 





} 
new SubReqServer().bind(port); 


} 


65. } 





第 32 一 34 行 通过 MarshallingCodeCFactory 工 三 类 创建 了 
MarshallingDecoder 解 码 器 ， 并 将 其 加 入 到 ChannelPipeline 中 ; 第 35 一 37 
行 通过 工厂 类 创建 MarshallingEncoder 编 码 器 ， 并 添加 到 ChannelPipeline 
中 。 


下 面 继续 看 MarshallingCodeCFactory 是 如 何 实现 的 ， 代 码 如 下 。 


代码 清单 9-2 ”Marshalling 版 本 图 书 订 购 代码 
MarshallingCodeCFactory 





18. public final class MarshallingCodeCFactory { 





19. 

20. ER 

21. * 创建 Jboss Marshalling 解 码 器 MarshallingDecoder 

22. < 

23, * @return 

24. */ 

25. public static MarshallingDecoder buildMarshallingDe 
26. final MarshallerFactory marshallerFactory = Marshal 


27. .getProvidedMarshallerFactory("serial"); 


28. 


29. 


30. 


31. 


32. 


33. 


34. 
35. 


final MarshallingConfiguration configuration = new. 


configuration. setVersion(5); 


UnmarshallerProvider provider = new DefaultUnmarsha 


marshallerFactory, configuration); 


MarshallingDecoder decoder = new MarshallingDecoder 


return decoder; 


36. 
37. 
38. 
39. 
40. 
41. 
42. 


43. 


44. 


45. 


46. 


47. 


JER 





* 创建 Jboss Marshalling 编 码 器 MarshallingEncoder 


* 


* @return 
uy. 
public static MarshallingEncoder buildMarshallingEn 


final MarshallerFactory marshallerFactory - Marshal 


.getProvidedMarshallerFactory("serial"); 


final MarshallingConfiguration configuration = new 


configuration.setVersion(5); 


MarshallerProvider provider = new DefaultMarshaller 


marshallerFactory, configuration); 


48. MarshallingEncoder encoder = new MarshallingEncoder 


49, return encoder; 
50. } 
51. } 





第 26 一 27 行 首先 通过 Marshalling 工 具 类 的 
getProvidedMarshallerFactory 静 态 方法 获取 MarshallerFactory 实 例 ， 参 
数 “serial” 表 示 创 建 的 是 Java 序 列 化 工 三 对 象 ， 它 由 jboss-marshalling- 
serial-1.3.0.CR9.jar 提 供 。 








第 28 行 创建 了 MarshallingConfiguration 对 象 ， 将 它 的 版 本 号 设置 为 
5， 然 后 根据 MarshallerFactory 和 MarshallingConfiguration 创 建 
UnmarshallerProvider 实 例 ， 最 后 通过 构造 函数 创建 Netty 的 
MarshallingDecoder 对 象 ， 它 有 两 个 参数 ， 分 别 是 UnmarshallerProvider 和 
单个 消息 序列 化 后 的 最 大 长 度 。 


第 42 一 45 行 同样 是 构造 MarshallerFactory 和 
MarshallingConfiguration， 第 46 行 创建 MarshallerProvider 对 象 ， 它 用 于 


创建 Netty 提 供 的 MarshallingEncoder 实 例 ，MarshallingEncoder 用 于 将 实 
现 序列 化 接口 的 POJO 对 象 序列 化 为 二 进 制 数组 。 


由 于 SubReqServerHandler 的 实现 与 第 8 章 例 程 中 的 
SubReqServerHandler 实 现 完全 相同 ， 因 此 这 里 不 再 给 出 源码 。 


9.3 ”Netty 的 Marshalling 客 户 端 开发 


站 先 由 客户 端 发 送 订 购 请 求 消息 ， 为 了 测试 TCP 粘 包 / 拆 包 是 否 能 被 
正确 处 理 ， 采 取 连 续 发 送 10 条 请 求 消息 的 策略 。 在 客户 端的 
ChannelPipeline 中 添加 MarshallingEncoder 编 码 器 对 POJO 对 象 进 行 编码 。 
接收 服务 端 应 答 消 息 的 时 候 需 要 对 经 过 Marshalling 序 列 化 后 的 码 流 进行 
解码 ， 因 此 也 需要 添加 MarshallingDecoder， 下 面 我 们 看 下 客户 端 代 码 
的 具体 实现 。 


客户 端 开 发 示例 
BCA & Pin A RK 


代码 清单 9-3 ”Marshalling 版 本 图 书 订购 代码 ^ SubReqClient 





16. public class SubReqClient { 

















17. 

18. public void connect(int port, String host) throws E 
19. // 配置 客户 端 NIO 线 程 组 

20. EventLoopGroup group = new NioEventLoopGroup(); 

21. try { 

22. Bootstrap b = new Bootstrap(); 

23. b.group(group).channel(NioSocketChannel.class) 
24. .option(ChannelOption.TCP_NODELAY, true) 
25. .handler(new ChannelInitializer<SocketChann 


26. @Override 


27. 
28. 
29. 


30. 


31. 


32. 


33. 


34. 


35. 


public void initChannel(SocketChannel ch) 
throws Exception { 


ch.pipeline().addLast( 


MarshallingCodeCFactory 


.buildMarshallingDecoder()); 


ch. pipeline().addLast( 


MarshallingCodeCFactory 


.buildMarshallingEncoder()); 


ch.pipeline().addLast(new SubReqClientH 


36. 
37. 
38. 
39. 
40. 
41. 
42. 
43. 
44. 
45. 
46. 
47. 
48. 
49. 
50. 
51. 
52. 
53. 
54. 
55. 
56. 
5T. 
58. 
59. 
60. 
61. 
62. 


} 
J): 


// 发 起 异步 连接 操作 


ChannelFuture f = b.connect(host, port).sync(); 





// 等 待 客户 端 链 路 关闭 

f.channel().closeFuture().sync(); 
} finally { 

// 优雅 退出 ， 释 放 NI0 线 程 组 

group.shutdownGracefully(); 





J** 
* (param args 
* @throws Exception 
<7 
public static void main(String[] args) throws Excep 
int port = 8080; 
if (args != null && args.length > 0) { 
try { 
port = Integer.valueOf(args[0]); 
} catch (NumberFormatException e) { 
// 采用 默认 值 
} 





63. new SubReqClient().connect(port, "127.0.0.1"); 





第 29 一 34 行 分 别 创建 Marshalling 编 码 器 和 解码 器 ， 并 将 其 添加 到 
ChannelPipeline 中 。 





SubReqClientHandler 相 比 于 第 8 章 的 例 程 ， 仅 仅 修改 了 订购 应 答 消 
恩 的 产品 名 称 ， 具 体 修 改 如 图 9-3 所 示 。 


图 9-3 ”构造 订购 成 功 应 答 消息 





9.4 izí;Marshalling^x P vig FU IRS "5 [| FE 
分 别 运 行 图 书 订购 服务 端 和 客户 端 例 程 ， 运 行 结果 如 下 。 
服务 端 运 行 结果 如 下 。 





Service accept client subscrib req : [SubscribeReq [subReqID= 
Service accept client subscrib req : [SubscribeReq [subReqID- 
Service accept client subscrib req : [SubscribeReq [subReqID- 
Service accept client subscrib req : [SubscribeReq [subReqID- 
Service accept client subscrib req : [SubscribeReq [subReqID- 
Service accept client subscrib req : [SubscribeReq [subReqID- 
Service accept client subscrib req : [SubscribeReq [subReqID- 
Service accept client subscrib req : [SubscribeReq [subReqID- 
Service accept client subscrib req : [SubscribeReq [subReqID- 


Service accept client subscrib req : [SubscribeReq [subReqID= 








服务 端 共 收 到 了 10 条 客户 端 请 求 消 息 ，subReqID 为 从 0 到 9， 与 客户 
端 发 送 的 订购 请 求 消息 完全 一 致 ， 服 务 端 运行 结果 正确 。 


客户 问 运 行 结果 如 下 。 





Receive server response : [SubscribeResp [subReqID-0, respCod 
Receive server response : [SubscribeResp [subReqID-1, respCod 
Receive server response : [SubscribeResp [subReqID-2, respCod 


Receive server response : [SubscribeResp [subReqID-3, respCod 


Receive server response : [SubscribeResp [subReqID-4, respCod 
Receive server response : [SubscribeResp [subReqID-5, respCod 
Receive server response : [SubscribeResp [subReqID-6, respCod 
Receive server response : [SubscribeResp [subReqID-7, respCod 
Receive server response : [SubscribeResp [subReqID-8, respCod 


Receive server response : [SubscribeResp [subReqID-9, respCod 





客户 端 成 功 收 到 了 服务 端 返回 的 10 条 应 答 消 息 ，subReqID 为 从 0 到 
9， 与 服务 端 发 送 的 应 答 消 恩 完 全 一 致 ， 测 试 表 明 客 户 端 运行 结 采 正 
确 。 











由 于 我 们 模拟 了 TCP 的 粘 包 / 拆 包 场 景 ， 但 是 程序 的 运行 结果 仍然 正 
确 ， 说 明 Netty 的 Marshalling 编 解码 器 文 持 半 包 和 粘 包 的 处 理 ， 对 于 开发 
者 而 言 ， 只 需要 正确 地 将 Marshalling 编 码 器 和 解码 右 加 入 到 
ChannelPipeline 中 ， 就 能 实现 对 Marshalling 序 列 化 的 文 持 。 


利用 Netty 的 Marshalling 编 解码 器 ， 可 以 轻松 地 开发 出 与 JBoss 内 部 
模块 进行 远程 通信 的 程序 ， 而 且 文 持 异步 非 阻 塞 ， 这 无 疑 降低 了 基于 
Netty 开 发 的 应 用 程序 与 JBoss 内 部 模块 对 接 的 难度 。 





9.5 Ea 


本 章 介 绍 了 如 何 使 用 Netty 的 Marshalling 编 码 器 和 解码 器 对 POJO 对 
象 进行 序列 化 。 通 过 使 用 Netty 的 Marshalling 编 解码 器 ， 我 们 可 以 轻松 地 
开发 出 文 持 JBoss Marshalling 序 列 化 的 客户 端 和 服务 端 程序 ， 方 便 地 对 
接 JBoss 的 内 部 模块 ， 同 时 也 有 利于 对 已 有 使 用 Jboss Marshalling 框 架 做 
通信 协议 的 模块 的 桥接 和 重用 。 


从 下 一 章 开 始 ， 我 们 将 学 习 如 何 使 用 Netty 的 HITP 协 议 栈 进 行 
HTTP 服 务 端 和 客户 端的 开发 。 由 于 HTTP 协 议 目 前 仍然 是 各 个 行业 主流 
的 系统 间 通 信 协 议 ， 因 此 ，Netty 的 HITP 协 议 栈 的 应 用 空间 非常 广泛 。 





fr Netty 多 协议 开发 和 应 用 


= HTTP 协 议 开发 应 用 


WebSocket 协 议 开发 
UDP 协议 开发 
文件 传输 

私有 协议 栈 开 发 


第 10 章 HTTP 协议 开发 应 用 


HTTP〔〈 超 文本 传输 协议 ) 协议 是 建立 在 TCP 传 输 协议 之 上 的 应 用 
层 协议 ， 它 的 发 展 是 万 维 网 协会 和 Internet 工 作 小 组 IETEF 合 作 的 结果 。 
HITTP 是 一 个 属于 应 用 层 的 面向 对 象 的 协议 ， 由 于 其 简捷 、 快 速 的 方 
式 ， 适 用 于 分 布 式 超 媒体 信息 系统 。 它 于 1990 年 提出 ， 经 过 多 年 的 使 用 
和 发 展 ， 得 到 了 不 断 地 完善 和 扩展 。 








由 于 HTTP 协 议 是 目前 Web 开 发 的 主流 协议 ， 基 于 HTTP 的 应 用 非常 
广泛 ， 因 此 ， 和 擎 握 HTTP 的 开发 非常 重要 ， 本 章 将 重点 介绍 如 何 基于 
Netty 的 HTTP 协 议 栈 进行 HTTP 服 务 端 和 客户 端 开 发 。 由 于 Netty 的 HTTP 
协议 栈 是 基于 Netty 的 NIO 通 信和 框架 开发 的 ， 因 此 ，Netty 的 HTTP 协 议 也 
是 异步 非 阻塞 的 。 


本 章 主 要 内 容 包括 : 


。HTTP 协 议 介绍 

e Netty HITP 服 务 端 入 门 开 发 
e HTTP + XML 应 用 开发 

e HTTP 附 件 处 理 


10.1 _ HTTP 协议 介绍 


HTTP 是 一 个 属于 应 用 层 的 面 癌 对象 的 协议 ， 由 于 其 简捷 、 快 速 的 


方式 ， 适 用 于 分 布 式 超 媒体 信息 系统 。 


HTTP 协 议 的 主要 特点 如 下 。 


支持 Client/Server 模 式 ; 

简单 一 一 客户 同 服 务 器 请 求 服务 时 ， 只 需 指 定 服务 URL， 携 带 必 要 
的 请 求 参数 或 者 消息 体 ; 

灵活 一 一 HTTP 人 允许 传输 任意 类 型 的 数据 对 象 ， 传 输 的 内 容 类 型 由 
HTTP 消 息 头 中 的 Content-Type 加 以 标记 ; 

无 状态 一 一 HTTP 协 议 是 无 状态 协议 ， 无 状态 是 指 协 议 对 于 事务 处 
理 没有 记忆 能 力 。 缺 少 状态 意味 着 如 果 后 续 处 理 需要 之 前 的 信息 ， 
则 它 必 须 重 传 ， 这 样 可 能 导致 每 次 连接 传送 的 数据 量 增 大 。 另 一 方 
面 ， 在 服务 器 不 需要 先前 信息 时 它 的 应 答 就 较 快 ， 负 载 较 轻 。 

















10.1.1 HTTP 协议 的 UREL 





HTTP URL (URL 是 一 种 特殊 类 型 的 URI， 包 含 了 用 于 查找 某 个 资 


源 的 足够 的 信息 ) 的 格式 如 下 。 





http://host[":"port][abs_path] 


其 中 ，http 表 示 要 通过 HTTP 协 议 来 定位 网 络 资源 ，host 表 示 合 法 的 


Internet 主 机 域名 或 者 耻 地 址 ，port 指 定 一 个 端口 号 ， 为 空 则 使 用 默认 端 
F180; abs_path 指 定 请 求 资源 的 URI， 如 果 URL 中 没有 给 出 abs_path， 那 


么 当 它 作为 请 求 URI 时 ， 必 须 以 “/* 的 形式 给 出 ， 通 常 这 点 工作 浏览 器 
自动 帮 我 们 完成 。 


10.1.2 HTTP 请 求 消息 〈HttpRequest) 
HTTP 请 求 由 三 部 分 组 成 ， 有 具体 如 下 。 


e HTTP 请 求 行 ; 
e HTTP 消 息 头 ; 
e HTTP 请 求 EX 


请 求 行 以 一 个 方法 符 开 头 ， 以 空格 分 开 ， 后 面 跟着 请 求 的 URI 和 协 
议 的 版 本 ， 格 式 为 : Method on HTTP-Version CRLF. 


其 中 Method 表 示 请 求 方法 ，Request-URI 是 一 个 统一 资源 标识 符 ， 
HTTP-Version 表 示 请 求 的 HTTP 协 议 版 本 ，CRLF 表 示 回 车 和 换行 (除了 
作为 结尾 的 CRLF 外 ， 不 允许 出 现 单独 的 CR 或 LF 字符 ) 


请 求 方法 有 多 种 ， 各 方法 的 作用 如 下 。 


e GET: 请 求 获取 Request-URI 所 标识 的 资源 ; 

e POST: 在 Request-URI 所 标识 的 资源 后 附加 新 的 提交 数据 ; 

e HEAD: 请 求 获取 由 Request-URI 所 标识 的 资源 的 响应 消息 报头 ; 

e PUT: 请 求 服务 器 存储 一 个 资源 ， 并 用 Request-URI 作 为 其 标识 ; 

e DELETE: 请 求 服务 器 删除 Request-URI 所 标识 的 资源 ; 

。TRACE: 请 求 服务 器 回 送 收 到 的 请 求 信 息 ， 主 要 用 于 测试 或 诊 
Kr; 

e CONNECT: 保留 将 来 使 用 ; 

e OPTIONS: 请 求 查 询 服务 器 的 性 能 ， 或 者 查询 与 资源 相关 的 选项 





GET 方 法 : 以 在 浏览 器 的 地 址 栏 中 输入 网 址 的 方式 访问 网 页 时 ， 浏 
唤 器 采用 GET 方 法 回 服务 器 获取 资源 。 例 如 ， 我 们 直接 在 浏览 器 中 输入 
http://localhost:8080/netty-5.0.0， 如 图 10-1 所 示 。 





图 10-1 ”通过 浏览 器 访问 Netty HTTP 服 务 端 


通过 服务 端 抓 包 ， 打 印 HITP 请 求 消息 头 ， 内 容 如 下 。 





GET /netty5.0 HTTP/1.1 

Host: localhost :8080 

Connection: keep-alive 

User-Agent: Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.1 (K 
Accept: text/html, application/xhtml+xml, application/xml;q=0.9 
Accept-Encoding: gzip,deflate, sdch 

Accept-Language: zh-CN, zh;q=0.8 

Accept-Charset: GBK,utf-8;q=0.7,*;q=0.3 


Content-Length: 0 





我 们 可 以 看 到 第 一 行 请 求 行 使 用 的 是 GET 方 法 。 


POST 方 法 要 求 被 请 求 服务 器 接受 附 在 请 求 后 面 的 数据 ， 和 常用 于 提 
交 表 单 。GET 一 般 用 于 获取 /查询 资源 信息 ， 而 POST 一 般 用 于 更 新 资源 
信息 。GET 和 POST 的 主要 区 别 如 下 。 


(1) 根据 HTTP 规范 ，GET 用 于 信息 获取 ， 而 且 应 该 是 安全 的 和 有 圭 
等 的 ，POST 则 表示 可 能 修改 变 服 务 器 上 的 资源 的 请 求 。 


(2) GET 提 区， 请 求 的 数据 会 附 在 URL 之 后 ， 就 是 把 数据 放置 在 
请 求 行 (request line) HP, LA“? ?分割 URL 和 传输 数据 ， 多 个 参数 
用 “&” 连 接 ; 而 POST 提 交会 把 提交 的 数据 放置 在 HTTP 消 奶 的 包 体 中 ， 
数据 不 会 在 地 址 栏 中 显示 出 来 。 


(3) 传输 数据 的 大 小 不 同 。 特 定 浏览 器 和 服务 器 对 URL 长 度 有 限 
制 ， 例 如 下 对 URL 长 度 的 限制 是 2083 字 节 (2K+35) ， 因 此 GET 携 带 的 
参数 的 长 度 会 受到 浏览 器 的 限制 ， 而 POST 由 于 不 是 通过 URL 传 值 ， 理 
论 上 数据 长 度 不 会 受 限 。 


(4) 安全 性 。POST 的 安全 性 要 比 GET 的 安全 性 高 。 比 如 通过 GET 
提交 数据 ， 用 户 名 和 密码 将 明文 出 现在 URL 上。 因为 1) 登录 页 面 有 可 
能 被 浏览 器 缓存 ，2)〉 其 他 人 查看 浏览 器 的 历史 记录 ， 那 么 别人 就 可 以 
拿 到 你 的 账号 和 密码 了 。 除 此 之 外 ， 使 用 GET 提 交 数 据 还 可 能 会 造成 
Cross-site request forgery 攻 击 。POST 提 交 的 内 容 由 于 在 消息 体 中 传输 ， 
因此 不 存在 上 述 安全 问题 。 


请 求 报头 允许 客户 端 向 服务 器 端 传递 请 求 的 附加 信息 以 及 客户 端 自 
身 的 信息 。 常 用 的 请 求 报头 如 表 10-1 所 示 。 





4210-1 _ HTTP 的 部 分 请 求 消息 头 列表 























HTTP 请 求 消息 体 是 可 选 的 ， 比 较 常 用 的 HITP+XML 协 议 就 是 通过 
HTTP 请 求 和 响应 消息 体 来 承载 XML 信 息 的 。 





10.1.3 ” HTTP 响应 消息 (HttpResponse) 


处 理 完 HTTP 客 户 端 的 请 求 之 后 ，HTTP 服 务 端 返 回响 应 消息 给 客户 
端 ，HTTP 啊 应 也 是 由 三 个 部 分 组 成 ， 分 别 是 : TRAST. IBASdROK. IM 





应 正文 。 


状态 行 的 格式 为 : HTTP-Version Status-Code Reason-Phrase CRLF, 
其 中 HTTP-Version 表 示 服 务 器 HTTP 协 议 的 版 本 ，Status-Code 表 示 服 务 
器 返回 的 啊 应 状态 代码 ，Status-Code 表 示 服 务 器 返回 的 啊 应 状态 代码 。 


状态 代码 由 三 位 数字 组 成 ， 第 一 个 数字 定义 了 啊 应 的 类 别 ， 它 有 5 
种 可 能 取 值 。 





(1) 1xx: 指示 信息 。 表 示 请 求 已 接收 ,继续 处 理 ; 


(2) 2xx: 成 功 。 表 示 请 求 已 被 成 功 接 收 、 理 解 、 接 受 ; 





(3) x: 重 定 同 。 要 完成 请 求 必 须 进行 更 进一步 的 操作 ; 
(4) 4xx: 客户 端 错误 。 请 求 有 语法 错误 或 请 求 无 法 实现 ; 
(5) 5xx: 服务 器 端 错误 。 服 务 器 未 能 处 理 请 求 。 
常见 的 状态 代码 、 状 态 插 述 如 表 10-2 所 示 。 

表 10-2 HTTP 响 应 状态 代码 和 描述 信息 


啊 应 报头 允许 服务 器 传递 不 能 放 在 状态 行 中 的 附加 啊 应 信息 ， 以 及 
关于 服务 器 的 信息 和 对 Request-URI 所 标识 的 资源 进行 下 一 步 访问 的 信 
轧 。 和 常用 的 啊 应 报头 如 表 10-3 所 示 。 














表 10-3 ”常用 的 响应 报头 








10.2 Netty HTTP 服 务 端 入 门 开发 


从 本 节 开 始 我 们 学 习 如 何 使 用 Netty 的 HITP 协 议 栈 开 发 HTTP 服 务 
端 和 客户 端 应 用 程序 。 由 于 Netty 天 生 是 异步 事件 驱动 的 架构 ， 因 此 基 
于 NIO TCP 协 议 栈 开发 的 HTTP 协 议 栈 也 是 异步 非 阻 塞 的 。 


Netty 的 HITP 协 议 栈 无 论 在 性 能 还 是 可 靠 性 上 ， 都 表现 优异 ， 非 第 
适合 在 非 Web 容 器 的 场景 下 应 用 ， 相 比 于 传统 的 Tomcat、Jetty 等 Web 容 
器 ， 它 更 加 轻 量 和 小 巧 ， 灵 活性 和 定制 性 也 更 好 。 


10.2.1 _ HTTP 服务 端 例 程 场景 描述 


我 们 以 文件 服务 器 为 例 学 习 Netty 的 HITP 服 务 端 入 门 开 发 ， 例 程 场 
景 如 下 : 文件 服务 器 使 用 HTTP 协 议 对 外 提供 服务 ， 当 客户 端 通过 浏览 
虱 访 问 文件 服务 器 时 ， 对 访问 路 径 进 行 检查 ， 检 查 失 败 时 返回 HTTP 
403 错 误 ， 该 页 无 法 访问 ;如果 校 验 通 过 ， 以 链接 的 方式 打开 当前 文件 
目录 ， 每 个 目录 或 者 文件 都 是 个 超 链 接 ， 可 以 递归 访问 。 











如 果 是 目录 ， 可 以 继续 递归 访问 它 下 面 的 子 目录 或 者 文件 ， 如 条 是 
文件 且 可 读 ， 则 可 以 在 浏览 器 端 直接 打开 ， 或 者 通过 【目标 为 存 为 】 下 
载 该 文件 。 


介绍 完了 样 例 程序 的 开发 场景 ， 下 面 我 们 一 起 看 看 如 何 开发 一 个 基 
于 Netty 的 HTTP 程 序 。 


10.2.2 HTTP 服 务 端 开发 


首先 看 下 HTTP 文件 服务 器 的 局 动 类 是 如 何 实现 的 。 


代码 清单 10-1 HTTP 文 件 服务 器 局 动 类 — HttpFileServer 





19. public class HttpFileServer { 


20. 

21. private static final String DEFAULT_URL = "/src/com 
22. 

234 public void run(final int port, final String url) t 
24. EventLoopGroup bossGroup = new NioEventLoopGroup(); 
25. EventLoopGroup workerGroup = new NioEventLoopGroup( 
26. try { 

27. ServerBootstrap b = new ServerBootstrap(); 

28. b.group(bossGroup, workerGroup) 

29. .channel(NioServerSocketChannel.class) 

30. .childHandler(new ChannelInitializer<Socket 
31. QOverride 

32. protected void initChannel(SocketChannel ch 
394 throws Exception { 

34. ch.pipeline().addLast("http-decoder", 
35. new HttpRequestDecoder( )); 


36. ch.pipeline().addLast("http-aggregator" 


37. 


38. 


39. 


40. 


41. 


42. 


new HttpObjectAggregator(65536)); 


ch.pipeline().addLast("http-encoder", 


new HttpResponseEncoder()); 


ch.pipeline().addLast("http-chunked", 


new ChunkedWriteHandler()); 


ch.pipeline().addLast("fileServerHandle 


43. 


44. 
45. 
46. 
47. 
48. 
49. 
50. 
51. 
52. 
53, 
54. 
55, 
56. 
57. 
58. 
59. 
60. 
61. 
62. 
63. 
64. 
65. 
66. 


new HttpFileServerHandler(url)); 


} 
}); 
ChannelFuture future = b.bind("192.168.1.102", 
System,out.printLn("HTTP 文 件 目 录 服 务 器 启动 ， 网 址 是 
+ port + url); 
future.channel().closeFuture().sync(); 
} finally { 
bossGroup.shutdownGracefully(); 


workerGroup.shutdownGracefully(); 


public static void main(String[] args) throws Excep 
int port = 8080; 
if (args.length > 0) { 
try { 
port = Integer.parseInt(args[0]); 
} catch (NumberFormatException e) { 
e.printStackTrace(); 
} 


} 
String url = DEFAULT_URL; 


if (args.length > 1) 


67. url = args[1]; 


68. new HttpFileServer().run(port, url); 
69. } 
70. } 





首先 我 们 看 main 函 数 ， 它 有 两 个 参数 : 第 一 个 是 端口 ， 第 二 个 是 
HTTP 服 务 端的 URL 路 径 。 如 采 局 动 的 时 候 没 有 配置 ， 则 使 用 默认 值 ， 
默认 端口 是 8080， 默 认 的 URL 路 径 是 “/src/com/phei/netty/”。 


重点 关注 第 34 一 43 行 ， 首 先 向 ChannelPipeline 中 添加 HTTP 请 求 消息 
解码 器 ， 随 后 ， 又 添加 了 HttpObjectAggregator 解 码 器 ， 它 的 作用 是 将 多 
个 消息 转换 为 单一 的 FullHttpRequest 或 者 FullHttpResponse， 原 因 是 
HTTP 解 码 器 在 每 个 HTTP 消 恩 中 会 生成 多 个 消息 对 象 。 


(1) HttpRequest / HttpResponse; 
(2) HttpContent; 
(3) LastHttpContent. 


第 38 一 39 行 新 增 HTTP 啊 应 编码 器 ， 对 HTTP 响应 消息 进行 编码 ; 第 
40 一 41 行 新 增 Chunked handler， 它 的 主要 作用 是 支持 异步 发 送 大 的 人 码 流 
《例如 大 的 文件 传输 ) ， 但 不 占用 过 多 的 内 存 ， 防 止 发 生 Java 内 存 溢出 


错误 。 





最 后 添加 HttpFileServerHandler， 用 于 文件 服务 器 的 业务 逻辑 处 理 。 
下 面 我 们 具体 看 看 它 是 如 何 实现 的 。 








代码 清单 10-2 HTTP 文 件 服 务 器 ”处 理 类 HttpFileServerHandler 


A | 


47. public class HttpFileServerHandler extends 


48. SimpleChannelInboundHandler<FullHttpRequest> { 
49. private final String url; 

50. 

51. public HttpFileServerHandler(String url) { 

52. this.url = url; 

53. } 

54. 

55 QOverride 

56. public void messageReceived(ChannelHandlerContext c 
57. FullHttpRequest request) throws Exception { 
58. if (!request.getDecoderResult().isSuccess()) ( 
59. sendError(ctx, BAD REQUEST); 

60. return; 

61. } 

62. if (request.getMethod() != GET) { 

63. sendError(ctx, METHOD NOT ALLOWED); 

64. return; 

65. } 

66. final String uri = request.getUri(); 

67. final String path = sanitizeUri(uri); 

68. if (path == null) { 

69. sendError(ctx, FORBIDDEN); 

70. return; 

71. } 


72. File file = new File(path); 


if (file.isHidden() || !file.exists()) { 
sendError(ctx, NOT_FOUND); 
return; 

} 

if (file.isDirectory()) { 
if (uri.endswith("/")) { 
sendListing(ctx, file); 
} else { 
sendRedirect(ctx, uri + '/'); 
} 
return; 

} 

if (!file.isFile()) { 
sendError(ctx, FORBIDDEN); 
return; 


j 


RandomAccessFile randomAccessFile - null; 
try { 
randomAccessFile = new RandomAccessFile(file, " 
) catch (FileNotFoundException fnfe) ( 
sendError(ctx, NOT FOUND); 
return; 
} 
long fileLength = randomAccessFile.length(); 
HttpResponse response = new DefaultHttpResponse(HTT 
setContentLength(response, fileLength); 


setContentTypeHeader(response, file); 


100. 
101. 
102. 
103. 
104. 
105. 
106. 
107. 
108. 
109. 
110. 
111. 
112. 
113. 
114. 
115. 
116. 
117. 
118. 
119. 
120. 
121, 
122. 
123i 
124. 
125. 
126. 


if (isKeepAlive(request)) { 
response.headers().set(CONNECTION, HttpHead 
} 
ctx.write(response); 
ChannelFuture sendFileFuture; 
sendFileFuture=ctx.write(new ChunkedFile( random 
fileLength, 8192), ctx.newProgressivePromis 
sendFileFuture.addListener(new ChannelProgressi 
@Override 
public void operationProgressed(ChannelProg 
long progress, long total) { 
if (total < 0) { // total unknown 
System.err.println("Transfer progress: 
) else ( 


System.err.println("Transfer progress:" 


* total); 
} 
} 
@Override 


public void operationComplete(ChannelProgre 
throws Exception { 
System.out.println("Transfer complete."); 
j 
1); 


ChannelFuture lastContentFuture = ctx 


.writeAndFlush(LastHttpContent.EMPTY LAST C 


127. 
128. 
129. 
130. 
131. 
132. 
133. 
134. 
135. 
136. 
137. 
138. 
139. 
140. 
141. 
142. 
143. 
144. 
145. 
146. 
147. 
148. 
149. 
150. 
151. 
152. 
153. 


if (!isKeepAlive(request)) { 


lastContentFuture.addListener(ChannelFuture 


@Override 

public void exceptionCaught (ChannelHandlerConte 
throws Exception { 

cause.printStackTrace(); 

if (ctx.channel().isActive()) { 


sendError(ctx, INTERNAL_SERVER_ERROR); 


private static final Pattern INSECURE_URI = Pat 


private String sanitizeUri(String uri) { 

try { 
uri = URLDecoder.decode(uri, "UTF-8"); 

} catch (UnsupportedEncodingException e) { 
try { 
uri = URLDecoder.decode(uri, "ISO-8859-1"); 
} catch (UnsupportedEncodingException ei) { 
throw new Error(); 
} 


} 
if (!uri.startswith(url)) { 


154. 
155. 
156. 
157. 
158. 
159. 
160. 
161. 
162. 
163. 
164. 
165. 
166. 
167. 
168. 
169. 
170. 
171. 
172. 
173. 
174. 
175. 
176. 
177. 
178. 
179. 
180. 


return null; 

} 

if (!uri.startswith("/")) { 
return null; 

} 

uri = uri.replace('/', File.separatorChar); 

if (uri.contains(File.separator + '.') 
|| uri.contains('.'+File.separator)||uri.st 
|| uri.endswith(".")||INSECURE URI.matcher( 
return null; 


j 


return System.getProperty("user.dir") + File.se 


j 


private static final Pattern ALLOWED FILE NAME 


.compile("[A-Za-z0-9][-. A-Za-z0-9NN.]*"); 


private static void sendListing(ChannelHandlerC 
FullHttpResponse response - new DefaultFullHttp 
response.headers().set(CONTENT TYPE, "text/html; 
StringBuilder buf - new StringBuilder(); 

String dirPath - dir.getPath(); 
buf.append("«!DOCTYPE html>\r\n"); 
buf.append("«html»«head»«title»"); 
buf.append(dirPath); 

buf.append(" 目录 : "); 

buf .append("</title></head><body>\r\n"); 


181. 
182. 
183. 
184. 
185. 
186. 
187. 
188. 
189. 
190. 
191. 
192. 
193. 
194. 
195. 
196. 
197. 
198. 
199. 
200. 
201. 
202. 
203. 
204. 
205. 
206. 
207. 


buf. 
buf. 
buf. 
buf. 
buf. 


for 


} 


buf. 


append("<h3>"); 

append(dirPath).append(" 目录 : "); 
append("</h3>\r\n"); 

append("<ul>"); 

append("<li>##3%: «a href=\"../\">..</a></li 
(File f : dir.listFiles()) { 

if (f.isHidden() || !f.canRead()) { 
continue; 

} 

String name = f.getName(); 

if (!ALLOWED FILE NAME.matcher(name).matche 


continue; 


buf .append("<li>###: «a hrefzN"");«/li» 
buf .append(name) ; 

buf .append("\">"); 

buf .append(name) ; 
buf.append("</a></li>\r\n"); 


append("</ul></body></html>\r\n"); 


ByteBuf buffer = Unpooled.copiedBuffer(buf, Cha 


response.content().writeBytes(buffer); 


buffer.release(); 


ctx. 


} 


writeAndFlush(response).addListener (Channe 


private static void sendRedirect(ChannelHandler 


208. FullHttpResponse response = new DefaultFullHttp 


209. response.headers().set(LOCATION, newUri); 

210. ctx.writeAndFlush(response).addListener (Channe 
211. } 

212. 

213. private static void sendError(ChannelHandlerCon 
214. HttpResponseStatus status) { 

215. FullHttpResponse response=new DefaultFullHttpRe 
216. status, Unpooled.copiedBuffer("Failure: " + 
217. + "\r\n", CharsetUtil.UTF_8)); 

218. response.headers().set(CONTENT_TYPE, "text/plai 
219. ctx.writeAndFlush(response).addListener (Channe 
220. } 

221. 

222. private static void setContentTypeHeader (HttpRe 
223: MimetypesFileTypeMap mimeTypesMap=new Mimetypes 
224. response.headers().set(CONTENT_TYPE, 

225. mimeTypesMap.getContentType(file.getPath()) 
226. } 

227. } 














首先 从 消息 接 入 方法 看 起 ， 第 58 一 61 行 首先 对 HTTP 请 求 消息 的 解码 结果 进行 判断 ，; 











第 67 行 对 请 求 URL 进 行 包装 ， 然 后 对 sanitizeUri 方 法 展开 分 析 。 跳 到 第 145 行 ， 姜 








第 68 一 71 行 ， 如 果 构 造 的 URI 不 合法 ， 则 返回 HTTP 403 错误。 第 72 行 使 用 新 组 装 能 











第 172 行 首先 创建 成 功 的 HTTP 啊 应 消息 ， 随 后 设置 消息 头 的 类 型 为 “text/html; c 





如 果 用 户 在 浏览 器 上 点 击 超 链接 直接 打开 或 者 下 载 文件 ， 代 码 会 执行 第 85 行 ， 对 超 链 














第 96 行 获取 文件 的 长 度 ， 构 造成 功 的 HTTP 应 答 消 息 ， 然 后 在 消息 头 中 设置 content 

















如 果 使 用 chunked 编 码 ， 最 后 需要 发 送 一 个 编码 结束 的 空 消息 体 ， 将 LastHttpConi 














如 果 是 非 Keep-AlLive 的 ， 最 后 一 包 消 息 发 送 完成 之 后 ， 服 务 端 要 主动 关闭 连接 。 





服务 端的 代码 已 经 介绍 完毕 ， 下 面 让 我 们 看 看 运行 结果 。 


10.2.3 Netty HTTP 文 件 服 务 器 例 程 运行 结果 





启动 HTTP 文 件 服务 器 ， 通 过 浏览 器 进行 访问 ， 运 行 结果 如 下 。 








首先 ， 启 动 文件 服务 器 ， 运 行 结果 如 图 10-1 所 示 。 





图 10-1 HTTP 文 件 服务 器 启动 结果 











我 们 首先 进行 异常 场景 的 测试 ， 输 入 错误 的 URL 网 址 : 





http://192.168.1.102:8080/abcde/get?123 








运行 结果 如 图 10 -2 所 示 。 


图 10-2 ”输入 错误 的 网 址 ， 返 回 403 错 误 























我 们 继续 测试 正常 场景 ， 在 浏览 器 中 输入 正 丰 





结果 分 析 : 由 于 输入 的 URL 路 径 不 是 个 合法 的 文件 或 者 目录 ， 所 以 程序 会 执 











的 网 址 : 





http://192.168.1.102:8080/src/com/phei/netty/ 








浏览 器 显示 结果 如 图 10 -3 所 示 。 


图 10-3 ”Netty 文 件 服务 器 目录 展示 








单 击 codec 文 件 链接 ， 显 示 结 果 如 图 10 -4 所 示 。 


图 10-4 单 击 目录 链接 ， 进 入 下 一 级 目录 


Am. Pe 


行 第 69 行 








查看 浏览 器 的 网 址 ， 已 经 进入 下 一 级 目录 ， 继 续 单 击 protobuf 目 录 ， 显 示 如 图 10-5 


图 10-5 ”进入 protobuf 目 录 











随便 打开 一 个 文件 ， 由 于 是 文本 文件 ， 可 以 直接 在 浏览 器 中 显示 ， 如 图 10- 6 所 示 。 











图 10-6 

















进入 protobuf 目 录 





如 果 内 容 显 示 有 乱码 ， 说 明 浏 览 器 使 用 的 编码 方式 和 源 代 码 中 的 不 一 致 ， 直 接 在 打开 





图 10-7 设置 浏览 器 的 编码 方式 为 UTF-8 解 决 中 文 乱码 问题 





我 们 也 可 以 通过 右键 【目标 为 存 为 】 从 文件 服务 器 下 载 文 件 ， 如 图 














图 10-8 ”从 文件 服务 器 下 载 源 文件 


10-8 所 示 。 





下 载 完成 后 ， 打 开 下 载 的 文件 ， 看 内 容 是 否 正月 








角 ， 如 图 











10-9 所 示 。 


图 10-9 ”查看 从 文件 服务 器 下 载 的 源 文件 





对 比 服务 器 上 的 源 文件 ， 内 容 完 全 一 致 ， 说 明 HTTP 文 件 服务 器 文件 下 载 功能 正常 。 





至 此 ， 作 为 入 门 级 的 Netty HTTP 协议 栈 的 应 用 一 HTTP 文 件 服务 器 已 经 开发 完毕 ， 


$ 


下 一 节 ， 我 们 将 学 习 目 前 最 流行 的 HTTP+XML 开 发 。HTTP+XML 应 用 非常 广泛 ， 一 旦 拖 





10.3 Netty HTTP+XML 协 议 栈 开发 








由 于 HTTP 协 议 的 通用 性 ， 很 多 异 构 系 统 间 的 通信 交互 采用 HTTP 协 议 ， 通 过 HTTP 协 议 








在 Java 领 域 ， 最 常用 的 HTTP 协 议 栈 就 是 基于 Servlet 规 范 的 Tomcat 等 Web 容 器 ，E 

















在 网 络 安全 日 益 严 峻 的 今天 ， 重 量 级 的 Web 容 器 由 于 功能 繁杂 ， 会 存在 很 多 安全 漏洞 ， 




















本 章节 将 介绍 如 何 利 用 Netty 提 供 的 基础 HTTP 协 议 栈 功能 ， 扩 展开 发 HTTP+XML 协 议 








10.3.1 开发 场景 介绍 


作为 一 个 示例 程序 ， 我 们 先 模 拟 一 个 简单 的 用 户 订购 系统 。 客 户 端 填写 订单 ， 通 过 HT 








订购 请 求 消 息 定义 如 表 10-3 所 示 。 





表 10-3 ”订购 请 求 消息 定义 (Order) 











客户 信息 定义 如 表 10-4 所 示 。 





表 10-4 ”客户 信息 定义 《Customer) 


地 址 信息 定义 如 表 10-5 所 示 。 





表 10-5 地址 信息 定义 (Address) 


邮递 方式 定义 如 表 10 - 6 所 示 。 





4210-6 邮递 方式 定义 (Shipping) 











数据 定义 完成 之 后 ， 接 着 看 订购 请 求 消息 的 XML Schema 定义 。 








«xs:schema xmlns:xs="http://www.w3.org/2001/XMLSchema" xmlns: 


<xs:element type="tns:order" name="order"/> 


<xs:complexType name="address"> 


<xs: sequence> 
«XS: 
«XS: 
«XS: 
«XS: 
«XS: 
«XS: 


«/Xs:sequence» 


element 
element 
element 
element 
element 


element 


type="xs: 
type="xs: 
type="xs: 
type="xs: 
type="xs: 
type="xs: 


</xs:complexType> 


string" 
string" 
string" 
string" 
string" 


string" 


<xs:complexType name="order"> 


<xs:sequence> 


<xs:element name="Customer" 


<xs:complexType> 


«xs:sequence» 


name="street1" minOccurs=" 


name="street2" minOccurs=" 
name="city" minOccurs="0"/ 
name="state" minOccurs="0" 
name="postCode" minOccurs- 


name="country" minOccurs=" 


minOccurs="0"> 


<xs:element type="xs:string" name="firstName" min 


<xs:element type="xs:string" name="lastName" minO 


<xs:element type="xs:string" name="middleName" mi 


«/Xs:sequence» 


</xs:complexType> 


</xs:element> 


<xs:attribute type="xs:long"use="required"name="cus 


<xs:element type="tns:address" name="billTo" minOccurs= 


<xs:element name="shipping" minOccurs="0"> 
<xs:simpleType> 
<xs:restriction base="xs:string"> 
«xs:enumeration value="STANDARD_MAIL"/> 
<xs:enumeration value="PRIORITY_MAIL"/> 
«xs:enumeration value="INTERNATIONAL_MAIL"/> 
<xs:enumeration value="DOMESTIC_EXPRESS"/> 
«xs:enumeration value="INTERNATIONAL_EXPRESS"/> 
</xs:restriction> 
</xs:simpleType> 
</xs:element> 
<xs:element type="tns:address" name="shipTo" minOccurs= 
</xs:sequence> 
«xs:attribute type="xs:long" use="required" name="orderNu 
<xs:attribute type="xs:float" name="total"/> 


</xs:complexType></xs:schema> 

















熟悉 XML 和 Schema 的 读者 理解 上 面 的 Schema 定义 没有 什么 困难 ， 如 果 你 对 XML 的 相 : 























开发 背景 介绍 完毕 ， 下 面 我 们 进入 设计 环节 ， 看 看 如 何 设计 和 开发 HTTP+XML 协 议 栈 ， 


10.3.2 HTTP+XML 协 议 栈 设计 











通过 商品 订购 的 流程 图 看 下 订购 的 关键 步骤 和 主要 技术 点 ， 找 出 当前 Netty HTTP 协 





图 10-10 HTTP+XML 订 购 流程 图 


首先 对 订购 流程 图 进行 分 析 ， 先 看 步骤 1， 构 造 订 购 请 求 消息 并 将 其 编码 为 HTTP+XMl 














再 看 步骤 2， 利 用 Netty 的 HTTP 协 议 栈 ， 可 以 支持 HTTP 链 路 的 建立 和 请 求 消息 的 发 这 




















步骤 3，HTTP 服 务 端 需要 将 HTTP+XML 格 式 的 订购 请 求 消息 解码 为 订购 请 求 P0JO 对 象 

















步骤 4， 服 务 端 对 订购 请 求 消息 处 理 完 成 后 ， 重 新 将 其 封装 成 XML， 通 过 HTTP 应 答 消 ， 











步骤 5，HTTP 客 户 端 需要 将 HTTP+XML 格 式 的 应 答 消 息 解码 为 订购 P0JO 对 象 ， 同 时 能 








通过 分 析 ， 我 们 可 以 了 解 到 哪些 能 力 是 Netty 支 持 的 ， 哪 些 需 要 扩展 开发 实现 。 下 面 











CD 需要 一 套 通用 、 高 性 能 的 XML 序列 化 框架 ， 它 能 够 灵活 地 实现 PO0JO-XML 的 互 柑 





(2) 作为 通用 的 HTTP+XML 协 议 栈 ，XML-P0J0 对 象 的 映射 关系 应 该 非常 灵活 ， 文 持 
































(3) 提供 HTTP+XML 请 求 消息 编码 器 ， 供 HTTP 客 户 端 发 送 请 求 消息 自动 编码 使 用 ; 
































(4) 提供 HTTP+XML 请 求 消息 解码 器 ， 供 HTTP 服 务 端 对 请 求 消息 自动 解码 使 用 ; 



































(5) 提供 HTTP+XML 响 应 消息 编码 器 ， 供 HTTP 服 务 端 发 送 响 应 消息 自动 编码 使 用 ; 





























(6) 提供 HTTP+XML 啊 应 消息 编码 器 ， 供 HTTP 客 户 端 对 应 答 消 息 进行 自动 解码 使 用 ; 





(7) 协议 栈 使 用 者 不 需要 关心 HTTP+XML 的 编 解码 ， 对 上 层 业 务 零 侵入 ， 业 务 只 需 村 








下 个 小 节 我 们 将 讲述 XML 框架 的 选 型 和 开发 ， 它 是 HTTP+XML 协 议 栈 的 关键 技术 点 。 


10.3.3 高 效 的 XML 绑 定 框架 JiBX 


JiBX 是 一 款 非 常 优 秀 的 XML (Extensible Markup Language) 数据 绑 定 框架 。， 








1. JiBxAT] 























XML 已 经 成 为 目前 程序 开发 配置 的 重要 组 成 部 分 了 ， 可 以 用 来 操作 XML 文件 的 开源 项 





使 用 JIBX 绑 定 XML 文 档 与 java 对象 需 要 分 两 步 走 :第 一 步 是 绑 定 XML 文件 ， 也 就 是 四 




















在 运行 程序 之 前 ， 需 要 先 配 置 绑 定 文件 并 进行 绑 定 ， 在 绑 定 过 程 中 它 将 会 动态 地 修改 














JiBx 有 两 个 比较 重要 的 概念 : Unmarshal (数据 分 解 ) 和 Marshal (数据 编排 ) 。 











介绍 完了 JiBx 的 基础 概念 ， 下 面 我 们 就 结合 订购 例 程 ， 来 学 习 下 如 何 使 用 JiBx 进 行 ) 





2. POJO REN 














通过 JiBx 提 供 的 工具 jar 包 ， 可 以 根据 Schema 自 动 生 成 P0JO 对 象 ， 也 可 以 根据 普 衣 





考虑 到 大 多 数 人 的 编码 习惯 ， 我 们 采用 先 定 义 P0J0 对 象 ， 再 生成 XML 和 对 象 的 绑 定 文 


代码 清单 10-3 HTTP+XML POJO 类 定义 Order 





2. public class Order { 

3 private long orderNumber; 

4 private Customer customer; 

5. 

6 /** Billing address information. */ 
7 private Address billTo; 

8 

9 private Shipping shipping; 

10. 

11. noe. 

12. * Shipping address information. If missing, the bill: 
13. * used as the shipping address. 
14. */ 


15. private Address shipTo; 


17. private Float total; 





-—- // 定 义 set 和 get 方 法 
53. } 





代码 清单 10-4 HTTP+XML POJO% X Customer 





import java.util.List; 
public class Customer { 


private long customerNumber; 
private String firstName; 


2 

3 

4 

5; /** Personal name. */ 
6 

7 

8 /** Family name. */ 

9 private String lastName; 

10. /** Middle name(s), if any. */ 


11. private List<String> middleNames; 





ee // 定 义 sSet 和 get 方 法 
35. n 





代码 清单 10-5 HTTP-XML  POJOZ2É5E X Address 











2 public class Address { 

3 /** First line of street information (required). */ 
4 private String street1; 

5; /** Second line of street information (optional). */ 
6 private String street2; 

7 private String city; 

8 

9 MER 

10. * State abbreviation (required for the U.S. and Ca 
TIT; * otherwise). 

12. */ 

13. private String state; 

14. 

15. /** Postal code(required for the U.S.and Canada, opt 
16. private String postCode; 

17. /** Country name (optional, U.S. assumed if not sup 
18. private String country; 

it // 定 义 sSet 和 get 方 法 


54. } 





代码 清单 10-6 HTTP-XML  POJO2É;E X Shipping 





package com.phei.netty.protocol.http.xml.pojo; 


public enum Shipping { 
STANDARD_MAIL, PRIORITY_MAIL, INTERNATIONAL_MAIL, DO 


a A WOW N EB 











P0J0 对 象 定义 完成 之 后 ， 通 过 Ant 脚 本 来 生成 XML 和 P0J0 对 象 的 绑 定 关系 文件 ， 同 卜 


3. 通过 Ant 脚 步 生成 XML 和 对 象 的 绑 定 关系 














外 认 你 使 用 的 Eclipse 安 装 了 Ant， 通 过 【window】 主 菜单 选择 【Preferenc 








Tk 
e 


图 10-11 Eclipse 的 Ant 配 置 





目前 主流 的 Ec1Lipse 版 本 默认 都 支持 Ant， 如 果 你 使 用 其 他 的 开发 工具 ， 可 以 安装 对 





JiBx 的 绑 定 和 编译 ， 重 点 关注 两 个 task。 如 图 





图 10-12 ”使 月 


由 于 本 书 的 重点 并 非 讲解 Ant 的 使 用 ， 所 以 ， 如 果 你 对 Ant 











感 兴趣 或 者 作为 初学 者 学 ; 


10-12 所 示 。 








月 BindGen 命 令 生成 绑 定 文件 


通过 JiBx 的 org .jibx.binding.generator .BindGen 工 具 类 可 以 将 指定 的 PO0JC 





执行 成 功 后 ， 在 当前 的 工程 目录 下 生成 binding.xm1 和 pojo.xsd 文 件 ， 结 果 如 图 1 





图 10-13 ”执行 Ant 脚 本 ， 生 成 XML 绑 定 关系 








图 10-14 生成 的 XML 绑 定 文件 











打开 绑 定 文件 ， 我 们 可 以 发 现 绑 定 文件 实际 就 是 XML 的 元 素 和 P0J0 对 象 字段 之 间 的 遇 








图 10-15 XML 和 Order 对 象 的 映射 关系 





再 看 一 下 JiBx 的 编译 命令 ， 它 的 作用 是 根据 绑 定 文件 和 P0J0 对 象 的 映射 关系 和 规则 ; 











110-16 ”编译 绑 定 脚本 和 动态 修改 Class 的 Ant 脚 本 














编译 结果 如 图 10 -17 所 示 。 





图 10-17 动态 修改 Class 文 件 


到 此 为 止 ，JiBx 相 关 的 准备 工作 已 经 完成 ， 下 个 小 节 通 过 一 个 简单 的 测试 程序 来 学 > 


4. JiBx 的 类 库 使 用 


JiBx 的 类 库 使 用 非常 简单 ， 下 面 直接 看 代码 。 





代码 清单 10-7 HTTP-XML POJO 测 试 类 定 X TestOrder 





18. public class TestOrder { 


19. private IBindingFactory factory = null; 

20. private StringWriter writer = null; 

21. private StringReader reader = null; 

22% private final static String CHARSET_NAME = "UTF-8"; 
23. private String encode2Xml(Order order) throws JiBXE 
24. factory = BindingDirectory.getFactory(Order.class); 
25, writer = new Stringwriter(); 

26. IMarshallingContext mctx = factory.createMarshallin 
27. mctx.setIndent(2); 


28. mctx.marshalDocument(order, CHARSET_NAME, null, wri 


29. 
30. 
31. 
82. 
33. 
34. 
35. 
36. 
37. 
38. 
39. 
40. 
41. 
42. 
43. 
44. 
45. 
46. 
47. 
48. 
49. 


String xmlStr - writer.toString(); 
writer.close(); 
System.out.println(xmlStr.toString()); 


return xmlStr; 


j 


private Order decode20rder(String xmlBody) throws J 
reader - new StringReader(xmlBody); 

IUnmarshallingContext uctx - factory.createUnmarsha 
Order order - (Order) uctx.unmarshalDocument(reader 


return order; 


j 


public static void main(String[] args) throws JiBXE 
TestOrder test - new TestOrder(); 

Order order - OrderFactory.create(123); 

String body - test.encode2Xml(order); 

Order order2 - test.decode20rder(body); 


System.out.println(order2); 
} 





首先 看 第 24 行 ， 根 据 0rder 的 Class 实 例 构 造 IBindingFactory 对 象 。 第 25 行 创 到 


解码 与 编码 类 似 ， 不 同 的 是 它 使 用 StringReader 来 读 取 String 类 型 的 XML 对 象 ， 名 





执行 结果 如 下 。 





<?xml version="1.0" encoding="UTF-8"?> 
«order xmlns="http://phei.com/netty/protocol/http/xml/pojo" o 
«customer customerNumber="123"> 
<firstName>&</firstName> 
<lastName>Mi&</lastName> 
</customer> 


<billTo> 





<street1> 龙 眠 大 道 </street1> 
<city> 南 京 市 </city> 
<state> 江 苏 省 </state> 
<postCode>123321</postCode> 
<country> 中 国 </country> 
</billTo> 
<shipping>INTERNATIONAL_MAIL</shipping> 


<shipTo> 





<street1> 龙 眠 大 道 </street1> 


<city> 南 京 市 </city> 


<state> 江 办 省 </state> 
<postCode>123321</postCode> 
<country> 中 国 </country> 
</shipTo> 
</order> 


Order [orderNumber=123, customer=Customer [customerNumber=123 














通过 上 面 的 执行 结果 可 以 发 现 ，XML 序 列 化 和 反 序列 化 后 的 结果 与 预期 一 致 ， 我 们 开 ， 


XML 绑 定 框架 选 型 和 开发 完成 之 后 ， 下 面 继 续 Netty HTTP +XM 编 解码 框架 的 开发 。 





10.3.4 HTTP+XML 编 解码 框架 开发 














> 
d 
po: 


有 6 个 小 节 来 讲解 如 何 基 于 Netty 开 发 HTTP+XML 协 议 栈 ， 在 Netty 提 供 的 HTT 











1，HTTP+XML 请 求 消息 编码 类 





对 于 上 层 业 务 侧 ， 构 造 订 购 请 求 消息 后 ， 以 HTTP+XML 协 议 将 消息 发 送 给 服务 端 ， 如 : 




















考虑 到 HTTP+XML 协 议 栈 需要 一 定 的 定制 扩展 能 力 ， 例 如 通过 HTTP 消 息 头 携带 业务 自 














HTTP+XML 的 协议 编码 仍然 采用 ChannelPipeline 中 增加 对 应 的 编码 handler 类 实 


下 面 我 们 来 一 起 看 下 HTTP+XML 请 求 消 息 编码 类 的 源码 实现 。 





代码 清单 10-8 HTTP+XML HTTP 请 求 消息 编码 类 





11. public class HttpXmlRequestEncoder extends 


12. AbstractHttpXmlEncoder<HttpXmlRequest> { 

13. 

14. @Override 

15. protected void encode(ChannelHandlerContext ctx, Ht 
16. List<Object> out) throws Exception { 


17. ByteBuf body = encodeO(ctx, msg.getBody()); 


18. 


19. 


20. 


21. 


22. 


23. 


24. 


FullHttpRequest request = msg.getRequest(); 


if (request == null) { 


request = new DefaultFullHttpRequest(HttpVersio 


HttpMethod. GET, "/do", body); 


HttpHeaders headers = request.headers(); 


headers.set(HttpHeaders.Names.HOST, InetAddress 


.getHostAddress()); 


25. 


26. 


27. 


28. 


29. 


30. 


31. 


headers.set(HttpHeaders.Names.CONNECTION, HttpH 


headers.set(HttpHeaders.Names.ACCEPT ENCODING, 


HttpHeaders.Values.GZIP.toString() + ',' 


* HttpHeaders.Values.DEFLATE.toString() 


headers.set(HttpHeaders.Names.ACCEPT_CHARSET, 


"TSO-8859-1, utf-8;q=0.7, *;q-0. 7"); 


headers.set(HttpHeaders.Names.ACCEPT LANGUAGE, 


32. 


33. 


34. 


35. 


36. 


37. 


38. 


headers.set(HttpHeaders.Names.USER AGENT, 


"Netty xml Http Client side"); 


headers.set(HttpHeaders.Names.ACCEPT, 


HttpHeaders.setContentLength(request, body.readable 


out.add(request); 


39. } 











第 17 行 首先 调用 父 类 的 encode0， 将 业务 需要 发 送 的 P0J0 对 象 Order 实 例 通 过 JiBx 





第 20 一 35 行 用 来 构造 和 设置 默认 的 HTTP 消 息 头 ， 由 于 通常 情况 下 HTTP 通 信 双 方 更 关 

















第 36 行 很 重要 ， 由 于 请 求 消息 消息 体 不 为 空 ， 也 没有 使 用 Chunk 方 式 ， 所 以 在 HTTPYy 











下 面 我 们 来 看 父 类 AbstractHttpXmlEncoder 的 实现 。 


代码 清单 10-9 HTTP+XML HTTP 请 求 消息 编码 基 类 AbstractHttp; 





14. public abstract class AbstractHttpXmlEncoder<T> extends 


15; MessageToMessageEncoder<T> { 
16. IBindingFactory factory = null; 
17. Stringwriter writer = null; 


18. final static String CHARSET_NAME = "UTF-8"; 


19. 
20. 
21. 
22. 
23. 


24. 


25. 


26. 


27. 


28. 


final static Charset UTF_8 = Charset.forName(CHARSE 


protected ByteBuf encodeO(ChannelHandlerContext ctx 
throws Exception { 


factory = BindingDirectory.getFactory(body.getClass 


writer = new StringWriter(); 


IMarshallingContext mctx = factory.createMarshallin 


mctx.setIndent (2); 


mctx.marshalDocument (body, CHARSET_NAME, null, writ 


String xmlStr = writer.toString(); 


writer.close(); 


writer = null; 


ByteBuf encodeBuf = Unpooled.copiedBuffer(xmlStr, U 


return encodeBuf; 


33. 
34. 


public void exceptionCaught(ChannelHandlerContext c 


throws Exception { 


if (writer 


writer.close(); 


43. } 
44. } 
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下 面 继续 看 下 HttpXmlRequest 是 如 何 实现 的 。 


代码 清单 10-10 HTTP+XML 请 求 消息 HttpXmlRequest 





9 . public class HttpXmlRequest { 

10. private FullHttpRequest request; 

11. private Object body; 

12. 

13. public HttpXmlRequest(FullHttpRequest request, Obje 
14. this.request = request; 

15. this.body = body; 

16. } 

17. 


18. ces 


19. 
20. 
21; 
22. 
23. 
24. 
25, 
26. 
27. 
28. 
29. 
30. 
ai. 
32. 
33. 
94. 
35. 
36. 
37, 
38. 
39. 
40. 
41. 
42. 
43. 
44. 
45. 


* @return the request 
1% 
public final FullHttpRequest getRequest() { 


return request; 


} 


/** 
* (param request 
i the request to set 
1% 

public final void setRequest(FullHttpRequest reques 


this.request = request; 


} 


J** 
* @return the object 
x 

public final Object getBody() { 


return body; 


j 


Jee 
* @param object 
< the object to set 
37 
public final void setBody(Object body) { 
this.body = body; 


46. } 
At uu 





它 包 含 两 个 成 员 变量 FuLLIHttpRequest 和 编码 对 象 0bject， 用 于 实现 和 协议 栈 之 | 





2. HTTP+XML 请 求 消 息 解 码 类 





HTTP 服 务 端 接收 到 HTTP+XML 请 求 消息 后 ， 需 要 从 HTTP 消 息 体 中 获取 请 求 码 流 ， 通 立 








下 面 就 看 下 具体 实现 。 


代码 清单 10-11 HTTP-XML HTTP 请 求 消息 解码 类 HttpXmlRequt 





20. public class HttpXmlRequestDecoder extends 
21. AbstractHttpXmlDecoder<FullHttpRequest> { 
22. 


23. public HttpXmlRequestDecoder (Class<?> clazz) { 


24. 
23% 
26. 
27. 
28. 
29; 
30. 
31. 
32. 
33. 
34. 


35. 


36. 


37. 


38. 


this(clazz, false); 


public HttpXmlRequestDecoder (Class<?> clazz, 


super(clazz, isPrint); 


protected void decode(ChannelHandlerContext argo, 
List<Object> arg2) throws Exception { 


if (!argi.getDecoderResult().isSuccess()) ( 


sendError(argO, BAD REQUEST); 


HttpxmlRequest request new HttpxmlRequest(argi, d 


39. 


40. 


41. 
42. 
43. 
44. 
45. 


46. 


47. 


argi.content())); 


arg2.add(request ); 


private static void sendError(ChannelHandlerContext 
HttpResponseStatus status) { 


FullHttpResponse response = new DefaultFullHttpResp 


status, Unpooled.copiedBuffer("Failure: " + sta 


+ "\r\n", CharsetUtil.UTF_8)); 


48. response.headers().set(CONTENT_TYPE, "text/plain; c 


49. ctx.writeAndFlush(response).addListener(ChannelFutu 
50. } 
51. } 








HttpXmlRequestDecoder 有 两 个 参数 ， 分 别 为 需要 解码 的 对 象 的 类 型 信息 和 是 否 

















第 43 一 50 行 ， 如 果 HTTP 消 息 本 身 解码 失败 ， 则 构造 处 理 结 果 异 常 的 HTTP 应 答 消 息 返 








第 38 行 通过 HttpXm1LRedquest 和 反 序 列 化 后 的 Order 对 象 构 造 HttpXmLRequest 实 


继续 看 下 它 的 父 类 AbstractHttpXmlDecoder 的 实现 。 


代码 清单 10-12 HTTP+XML HTTP 请 求 消息 解码 类 AbstractHttpX 


public abstract class AbstractHttpXmlDecoder<T> extends 


MessageToMessageDecoder<T> { 

private IBindingFactory factory; 

private StringReader reader; 

private Class<?> clazz; 

private boolean isPrint; 

private final static String CHARSET_NAME = "UTF-8"; 


private final static Charset UTF_8 = Charset.forNam 


protected AbstractHttpXmlDecoder (Class<?> clazz) { 


this(clazz, false); 


} 


protected AbstractHttpXmlDecoder (Class<?> clazz, bo 
this.clazz = clazz; 
this.isPrint = isPrint; 


} 


protected Object decodeO(ChannelHandlerContext argo 
throws Exception { 


factory = BindingDirectory.getFactory(clazz); 


39. 


40. 


41. 


42. 


43. 


44. 


45. 


String content = body.toString(UTF_8); 


if (isPrint) 


System.out.println("The body is : " + content); 


reader = new StringReader (content); 


IUnmarshallingContext uctx = factory.createUnmarsha 


Object result = uctx.unmarshalDocument (reader); 


reader.close(); 


46. reader = null; 


47. return result; 

48. } 

49. @Override 

50. public void exceptionCaught(ChannelHandlerContext c 
51. throws Exception { 
52. // 释放 资源 

53. if (reader != null) { 
54. reader.close(); 
55. reader = null; 

56. } 

57. } 

58. } 





第 38 一 47 行 从 HTTP 的 消息 体 中 获取 请 求 码 流 ， 然 后 通过 JiBx 类 库 将 XML 转换 成 POJ( 








第 53 一 55 行 ， 如 果 解 码 发 生 异 常 ， 要 判断 StringReader 是 否 已 经 关闭 ， 如 果 没 有 ; 





3. HTTP+XML 响 应 消息 编码 类 














对 于 响应 消息 ， 用 户 可 能 并 不 关心 HTTP 消 息 头 之 类 的 ， 它 将 业务 处 理 后 的 P0JO 对 象 : 





代码 清单 10-13 HTTP-XML HTTP XML 应 符 消 息 HttpXmlRespor 





9. public class HttpXmlResponse { 

10. private FullHttpResponse httpResponse; 

11. private Object result; 

12. 

13. public HttpXmlResponse(FullHttpResponse httpRespons 
14. this.httpResponse = httpResponse; 

15. this.result = result; 

16. } 

17. 

18. fer 


19. * @return the httpResponse 


20. 
21. 
22. 
23. 
24. 
25, 
26. 
27. 
28. 
29. 
30. 
31. 
32. 
33. 
34. 
35. 
36. 
37. 
38. 
39. 
40. 
41. 
42. 
43. 
44. 
45. 
46. 


S^ 


public final FullHttpResponse getHttpResponse() ( 


return httpResponse; 


j 


FER 


* @param httpResponse 


* 


iv 


public final void setHttpResponse(FullHttpResponse 


the httpResponse to set 


this.httpResponse = httpResponse; 


} 


FER 


* @return the body 


*/ 


public final Object getResult() { 


return result; 


} 


JRR 


* @param body 


* 


*/ 


public final void setResult(Object result) { 


this.result 


} 


the body to set 


result; 


47. 3} 








Ct 
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nb 
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量 : FullHttpResponse 和 0bject，0bject 就 是 业务 需要 发 送 | 





下 面 继 续 看 应 答 消 息 的 XML 编 码 类 实现 。 


代码 清单 10-14 HTTP+XML 应 答 消 息 编 码 类 HttpXmlResponseEr 





17. public class HttpXmlResponseEncoder extends 

18. AbstractHttpXmlEncoder<HttpXmlResponse> { 

19. 

20. £t 

21. * (non-Javadoc) 

22. 3 

23. * @see 

24. * jo.netty.handler.codec.MessageToMessageEncoder#e 
25. * .ChannelHandlerContext, java.lang.Object, java.u 
26. ta 


27. protected void encode(ChannelHandlerContext ctx,Htt 


28. List<Object> out) throws Exception { 


29. ByteBuf body = encodeO(ctx, msg.getResult()); 

30. FullHttpResponse response = msg.getHttpResponse(); 
31. if (response == null) { 

32, response = new DefaultFullHttpResponse(HTTP_1_1 
33. } else { 

34. response = new DefaultFullHttpResponse(msg.getH 
35. .getProtocolVersion(), msg.getHttpResponse( 
36. body); 

37. } 

38. response.headers().set(CONTENT_TYPE, "text/xml"); 
39. setContentLength(response, body.readableBytes()); 
40. out.add(response); 

41. } 

42. } 








它 的 实现 非常 简单 ， 第 36 行 对 应 答 消息 进行 判断 ， 如 果 业 务 侧 已 经 构造 了 HTTP 应 答 y 





























作为 示例 程序 并 没有 提供 更 多 的 API 供 业务 侧 灵 活 设置 HTTP 应 答 消 息 头 ， 在 实际 商用 














第 38 行 设置 消息 体内 容 格式 为 “text/Vxm1”， 然 后 在 消息 头 中 设置 消息 体 的 长 度 。 第 


4. HTTP+XML 应 答 消 息 解码 





客户 端 接收 到 HTTP+XML 应 答 消 息 后 ， 对 消息 进行 解码 ， 获 取 HttpXmlResponse 对 : 





代码 清单 10-1 5 HTTP+XML 应 答 消 息 解 码 类 ”HttpXmlResponseDk 





11. public class HttpXmlResponseDecoder extends 

12. AbstractHttpXmlDecoder<DefaultFullHttpResponse> { 
13. 

14. public HttpXmlResponseDecoder (Class<?> clazz) { 
15. this(clazz, false); 

16. } 

17. 

18. public HttpXmlResponseDecoder (Class<?> clazz, boole 
19. super(clazz, isPrintlog); 

20. } 

21. 

22, @Override 

23. protected void decode(ChannelHandlerContext ctx, 


24. DefaultFullHttpResponse msg, List<Object> out) 


25. HttpXmlResponse resHttpXmlResponse = new HttpXmlRes 


26. ctx, msg.content())); 
27. out.add(resHttpXmlResponse); 
28. } 

29. } 





第 25 行 通过 Defau1ltFu1LLHttpResponse 和 HTTP 应 答 消 息 反 序 列 化 后 的 PO0JO0 对 象 ; 


5. HTTP+XML 客 户 端 开 发 


客户 端的 功能 如 下 。 





(1) 发 起 HTTP 连 接 请 求 ; 





(2) 构造 订购 请 求 消息 ， 将 其 编码 成 XML， 通 过 HTTP 协 议 发 送 给 服务 端 ; 





(3) 接收 HTTP 服 务 端 的 应 答 消 息 ， 将 XML 应 答 消 息 反 序列 化 为 订购 消息 PO0JO 对 象 ; 


(4) 关闭 HTTP 连 接 。 








它 的 功能 








定位 ， 我 们 首先 开始 主 程序 的 开发 。 





代码 清单 10-16 HTTP+XML 客 户 端 启动 类 HttpXmlClient 


23. 
24. 
25. 
26. 
27. 
28. 
29. 
30. 
31. 
32. 
33. 
34. 
35. 
36. 





public class HttpXmlClient { 


public void connect(int port) throws Exception { 
// 配置 客户 端 NIO 线 程 组 
EventLoopGroup group = new NioEventLoopGroup(); 
try { 
Bootstrap b = new Bootstrap(); 
b.group(group).channel(NioSocketChannel.class) 
.option(ChannelOption.TCP_NODELAY, true) 
.handler(new ChannelInitializer<SocketChann 
@Override 
public void initChannel(SocketChannel ch) 
throws Exception { 


ch.pipeline().addLast("http-decoder", 


37. 


38. 


39. 


40. 


41. 


42. 


43. 


new HttpResponseDecoder()); 


ch.pipeline().addLast("http-aggregator" 


new HttpobjectAggregator (65536) ); 


// XML 解码 器 





ch. pipeline().addLast( 


"xml-decoder", 


new HttpXmlResponseDecoder (Order.cl 


44, 


45. 


46. 


47. 


48. 


49. 


50. 


true)); 


ch.pipeline().addLast("http-encoder", 


new HttpRequestEncoder()); 


ch.pipeline().addLast("xml-encoder", 


new HttpXmlRequestEncoder()); 


ch.pipeline().addLast("xmlClientHandler 


new HttpXmlClientHandle()); 


51. 
52. 
53. 
54. 
55. 
56. 
57. 
58. 
59. 
60. 
61. 
62. 
63. 
64. 
65. 
66. 
67. 
68. 
69. 
70. 
71. 
12. 
73. 
74. 


} 
J): 





// 发 起 异步 连接 操作 


ChannelFuture f=b.connect(new InetSocketAddress 


// 等 待 客户 端 链 路 关闭 

f.channel().closeFuture().sync(); 
+ finally { 

// 优雅 退出 ， 释 放 NIO 线 程 组 

group.shutdownGracefully(); 





J** 
* (param args 
* @throws Exception 
we 
public static void main(String[] args) throws Excep 
int port = 8080; 
if (args != null && args.length > 0) { 
try { 
port = Integer.valueOf(args[0]); 


} catch (NumberFormatException e) { 





75. // 采用 默认 值 


76. } 

77. } 

78. new HttpXmlClient().connect(port); 
79. } 

80. } 











在 ChannelLPipeline 中 新 增 了 HttpResponseDecoder， 它 负责 将 二 进 制 码 流 解 在 





第 45 一 46 行 将 HttpRequestEncoder 编 码 器 添加 到 Channe1LPipelLine 中 时 ， 需 要 





最 后 是 业务 的 逻辑 编排 类 HttpXm1LClLlientHandle， 我 们 继续 分 析 它 的 实现 。 


代码 清单 10-17 HTTP+XML 客 户 端 业务 逻辑 编排 类 HttpXmlClien 





13 public class HttpXmlClientHandle extends 


8. SimpleChannelInboundHandler«HttpXmlResponse» { 


10. 
11. 
12. 
13. 
14. 
15. 
16. 
17. 
18. 
19. 
20. 
21. 
22. 
23. 
24. 
25. 
26. 
27. 
28. 
29. 
30. 
31. 


QOverride 

public void channelActive(ChannelHandlerContext ctx 

HttpXmlRequest request - new HttpXmlRequest(null, 
OrderFactory.create(123)); 


ctx.writeAndFlush(request); 


j 


QOverride 
public void exceptionCaught(ChannelHandlerContext c 
cause.printStackTrace(); 


ctx.close(); 


j 


QOverride 

protected void messageReceived(ChannelHandlerContex 
HttpXmlResponse msg) throws Exception { 

System.out.println("The client receive response of 
+ msg.getHttpResponse().headers().names()); 

System.out.println("The client receive response of 


* msg.getResult()); 








客户 端的 实现 非常 简单 ， 第 12 行 构造 HttpXmlRequest 对 象 ， 调 用 ChannelHandlt 








第 24 一 39 行 用 于 接收 服务 端的 应 答 消 轧 ， 从 接口 看 ， 它 接收 到 的 已 经 是 自动 解码 后 则 


最 后 ， 看 下 订购 对 象 工厂 类 的 实现 。 


代码 清单 10-18 HTTP+XML 订 购 对 象 工厂 类 OrderFactory 








2 public class OrderFactory { 

3 public static Order create(long orderID) { 
4 Order order = new Order(); 

5 order.setOrderNumber(orderID); 

6 order.setTotal(9999.999f); 

7 Address address = new Address(); 

8 address.setCity("Mimti"); 

9 address.setCountry( PES"); 

10. address.setPostCode("123321"); 

11. address. setState "IT HE"); 

12. address. setStreeti("KIRKE"); 

13. order.setBillTo(address); 

14. Customer customer = new Customer(); 


15; customer.setCustomerNumber (orderID); 


16. customer .setFirstName("7="); 


17. customer .setLastName ( "Jule" ) ; 

18. order.setCustomer(customer); 

19. order.setShipping(Shipping.INTERNATIONAL MAIL); 
20. order.setShipTo(address); 

214 return order; 

22. } 

23. } 





6. HTTP+XML 服 务 端 开发 


HTTP 服 务 端的 功能 如 下 。 





(1) 接收 HTTP 客 户 端的 连接 ; 


(20 接收 HTTP 客 户 端的 XML 请 求 消息 ， 并 将 其 解码 为 PO0JO 对 象 ; 

















(3) 对 P0J0 对 象 进行 业务 处 理 ， 构 造 应 答 消 息 返 回 ; 








(4) 通过 HTTP+XML 的 格式 返回 应 答 消息 ; 


(5) 主动 关闭 HTTP 连 接 。 





下 面 我 们 首先 看 下 服务 端 监 听 主 程序 的 实现 。 


代码 清单 10-19 HTTP+XML 服 务 端 主 程序 HttpXmlServer 





22. public class HttpXmlServer { 


23. public void run(final int port) throws Exception { 

24. EventLoopGroup bossGroup = new NioEventLoopGroup(); 
25. EventLoopGroup workerGroup = new NioEventLoopGroup( 
26. try { 

27. ServerBootstrap b = new ServerBootstrap(); 

28. b.group(bossGroup, workerGroup) 

29. .channel(NioServerSocketChannel.class) 

30. .childHandler(new ChannelInitializer<Socket 
31. @Override 

32. protected void initChannel(SocketChannel ch 
33. throws Exception { 


34. ch.pipeline().addLast("http-decoder", 


35. 


36. 


37. 


38. 


39. 


40. 


new HttpRequestDecoder()); 


ch.pipeline().addLast("http-aggregator" 


new HttpObjectAggregator (65536) ); 


ch.pipeline() 


.addLast( 


"xml-decoder", 


41. 


42. 


43. 


44. 


45. 


46. 


47. 


new HttpxmlRequestDecoder( 


Order.class, true)); 


ch.pipeline().addLast("http-encoder", 


new HttpResponseEncoder()); 


ch.pipeline().addLast("xml-encoder", 


new HttpXmlResponseEncoder()); 


ch.pipeline().addLast("xmlServerHandler 


48. 


49. 
50. 
51. 
52. 
53. 
54. 
55. 
56. 
57. 
58. 
59. 
60. 
61. 
62. 
63. 
64. 
65. 
66. 
67. 
68. 
69. 
70. 


new HttpxmlServerHandler()); 


} 


3); 
ChannelFuture future - b.bind(new InetSocketAdd 


System.out,.printlLn("HTTP 订 购 服务 器 启动 ， 网 址 是 : " 
+ port); 
future.channel().closeFuture().sync(); 
} finally { 
bossGroup.shutdownGracefully(); 


workerGroup.shutdownGracefully(); 


public static void main(String[] args) throws Excep 
int port = 8080; 
if (args.length > 0) { 
try { 
port = Integer.parseInt(args[0]); 
} catch (NumberFormatException e) { 
e.printStackTrace(); 
} 


} 
new HttpXmlServer().run(port); 


71. } 
42 J 





HTTP 服 务 端的 启动 与 之 前 一 样 ， 在 此 不 再 详 述 ， 我 们 具体 看 下 编 解 码 handler 是 如 人 











第 34 一 37 行 用 于 绑 定 HTTP 请 求 消息 解码 器 ; 第 38 一 42 行 将 我 们 自 定 义 的 HttpXml 


下 面 我 们 继续 看 HttpXmlServerHandler 的 实现 。 


代码 清单 10-20 HTTP+XML 服务 端 处 理 类 HttpXmlServerHandler 





30. public class HttpXmlServerHandler extends 


31. SimpleChannelInboundHandler<HttpXmlRequest> { 

32. 

33. QOverride 

34. public void messageReceived(final ChannelHandlerCon 
35. HttpXmlRequest xmlRequest) throws Exception { 


36. HttpRequest request = xmlRequest.getRequest(); 


37. 


38. 


39. 


40. 


41. 


42. 


Order order = (Order) xmlRequest.getBody(); 


n 


System.out.println("Http server receive request 


dobusiness(order); 


ChannelFuture future = ctx.writeAndFlush(new HttpXm 


order )); 


if (!iskeepAlive(request)) { 


43. 


44. 


45. 


46. 


47. 


48. 
49. 
50. 
51. 
52. 
53. 
54. 


future.addListener(new GenericFutureListener<Fu 


public void operationComplete(Future future) th 


ctx.close(); 


J); 


private void dobusiness(Order order) ( 
order.getCustomer().setFirstName("3k"); 
order.getCustomer().setLastName("[-75"); 


List<String> midNames = new ArrayList<String>(); 


55, 
56. 
57. 
58. 
59, 
60. 
61. 
62. 
63. 
64. 
65. 
66. 
67. 
68. 
69. 
70. 
71. 
12. 
73. 
74. 
75. 
76. 
11. 
78. 
79. 
80. 
81. 


midNames ,add(" 李 元 芳 " ) ; 

order .getCustomer().setMiddleNames(midNames) ) ; 
Address address = order.getBillTo(); 
address.setCity("i—H"); 

address. setCountry("K#"); 

address. setState "ji pi"); 

address. setPostCode("123456"); 
order.setBillTo(address); 


order.setShipTo(address); 


} 


@Override 

public void exceptionCaught(ChannelHandlerContext c 
throws Exception { 

cause.printStackTrace(); 

if (ctx.channel().isActive()) { 


sendError(ctx, INTERNAL_SERVER_ERROR); 


private static void sendError(ChannelHandlerContext 
HttpResponseStatus status) { 
FullHttpResponse response = new DefaultFullHttpResp 
status, Unpooled.copiedBuffer( "Ak: " + status. 
+ "\r\n", CharsetUtil.UTF_8)); 
response.headers().set(CONTENT_TYPE, "text/plain; ch 


ctx.writeAndFlush(response) .addListener (ChannelFutu 


82. + 
83. } 




















通过 messageReceived 的 方法 入 参 HttpXmlRequest， 可 以 看 出 服务 端 业务 处 理 头 





第 70 一 71 行 ， 在 发 生 异 党 并且 链 路 没有 关闭 的 情况 下 ， 构 造 内 部 异常 消息 发 送 给 客 广 

















到 此 ，HTTP+XML 的 协议 栈 开 发 工作 全 部 完成 ， 下 个 小 节 我 们 看 下 运行 结果 。 


10.3.5 HTTP+XML 协 议 栈 测试 


本 小 节 对 前 面 几 节 开发 的 HTTP+XML 协 议 栈 进行 测试 。 


首先 对 工程 进行 编译 ， 然 后 执行 JiBx 的 Ant 脚 本 ， 对 涉及 的 P0J0 对 象 进 行 二 次 编译 ， 


服务 端 接收 到 的 请 求 消息 码 流 打 印 如 下 。 








The body is : <?xml version="1.0" encoding="UTF-8"?> 
«order xmlns="http://phei.com/netty/protocol/http/xml/pojo" o 
«customer customerNumber="123"> 
«firstName»7*«/firstName» 
<lastName>Mi&</lastName> 
</customer> 


<billTo> 





<street1> 龙 眠 大 道 </street1> 
<city> 南 京 市 </city> 
<state> 江 办 省 </state> 
<postCode>123321</postCode> 
<country> 中 国 </country> 
</billTo> 
<shipping>INTERNATIONAL_MAIL</shipping> 


<shipTo> 





<street1> 龙 眠 大 道 </street1> 
<city> 南 京 市 </city> 
<state> 江 苏 省 </state> 
<postCode>123321</postCode> 


<country> 中 国 </country> 


</shipTo> 


</order> 





服务 端 解 码 后 的 业务 对 象 如 下 。 





Http server receive request : Order [orderNumber=123, custome 





2. 客户 端 


客户 端 接收 到 的 啊 应 消息 体 码 流 如 下 。 





The body is : <?xml version="1.0" encoding="UTF-8"?> 
«order xmlns="http://phei.com/netty/protocol/http/xml/pojo" o 
«customer customerNumber="123"> 


<firstName> 狄 </firstName> 


<lastName>{_7</lastName> 
<middleName>2 7075 </middleName> 
</customer> 


<billTo> 





<Street1> 龙 眠 大 道 </street1> 
<city> 洛 阳 </city> 
<state> 河 南 道 </state> 
<postCode>123456</postCode> 
<country> 大 唐 </country> 
</billTo> 
<shipping>INTERNATIONAL_MAIL</shipping> 


<shipTo> 





<Street1> 龙 眠 大 道 </street1> 

<city> 洛 阳 </city> 

<state> 河 南 道 </state> 

<postCode>123456</postCode> 

<country> 大 唐 </country> 
</shipTo> 


</order> 





解码 后 的 响应 消息 如 下 。 





The client receive response of http body is : Order [orderNum 





测试 结果 表明 ，HTTP+XML 协 议 栈 功能 正常 ， 达 到 了 设计 预期 。 





10.3.6 小结 








需要 指出 的 是 ， 尽 管 本 章节 开发 的 HTTP+XML 协 议 栈 是 个 高 性 能 、 通 用 的 协议 栈 ， 但 ; 





10.4 AH 





本 章节 重点 介绍 了 HTTP 协 议 以 及 如 何 使 用 Netty 的 HTTP 协 议 栈 开 发 基于 HTTP 的 应 用 








本 章节 的 HTTP+XML 协 议 栈 在 实际 项 目 中 非常 有 用 ， 如 果 读者 打算 以 它 为 基础 进行 商 ) 
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一 直 以 来 ， 网 络 在 很 大 程度 上 都 是 围绕 着 HTTP 的 请 求 / 啊 应 模式 而 
构建 的 。 客 户 端 加 载 一 个 网 页 ， 然 后 直到 用 户 点 击 下 一 页 之 前 ， 什 么 都 
不 会 发 生 。 在 2005 年 左右 ，Ajax 开 始 让 网 络 变 得 更 加 动态 了 。 但 所 有 的 
HTTP 通 信 仍 然 是 由 客户 端 控 制 的 ， 这 就 需要 用 户 进 行 互 动 或 定期 轮 
询 ， 以 便 从 服务 器 加 载 新 数据 。 











长 期 以 来 存在 着 各 种 技术 让 服务 器 得 知 有 新 数据 可 用 时 ， 立 即将 数 
据 发 送 到 客户 并 。 这 些 技 术 种 类 繁多 ， 例 如 “推送 ”或 Comet。 最 常用 的 
一 种 黑客 手段 是 对 服务 器 发 起 链接 创建 假象 ， 被 称 为 长 轮 询 。 利 用 长 轮 
询 ， 客 户 端 可 以 打开 指 癌 服务 器 的 HTTP 连接 ， 而 服务 器 会 一 直 保 持 连 
接 打 开 ， 和 直到 发 送 啊 应 。 服 务 器 只 要 实际 拥有 新 数据 ， 就 会 发 送 啊 应 
(其 他 技术 包括 Flash、XHR multipart 请 求 和 所 谓 的 HTML File) 。 长 
轮 询 和 其 他 技术 都 非常 好 用 ， 在 Gmail 聊天 等 应 用 中 会 经 常 使 用 它们 。 





但 是 ， 这 些 解决 方案 部 存在 一 个 共同 的 问题 ， 由 于 HTTP 协 议 的 开 
销 ， 导 致 它们 不 适用 于 低 延 迟 应 用 。 


为 了 解决 这 些 问 题 ，WebSocket 将 网 络 套 接 字 引 入 到 了 客户 器 和 服 
务 器 ， 浏 览 医 和 服务 圳 之 间 可 以 通过 和 套 接 字 建 立 持久 的 连接 ， 双 方 随时 
都 可 以 互 发 数据 给 对 方 ， 而 不 是 之 前 由 客户 并 控制 的 一 请 求 一 应 答 模 
式 。 

本 章 主 要 内 容 包 括 : 


e HTTP Pp BIER 


e WebSocket 入 门 
e Netty WebSocket 协 议 开 发 


11.1 HTTP) i IJ Yk i 
将 HTTP 协 议 的 主要 商 端 总 结 如 下 。 


(1) HTTP 协 议 为 半 双 工 协议 。 半 双 工 协议 指数 据 可 以 在 客户 端 和 
服务 端 两 个 方向 上 传输 ， 但 是 不 能 同时 传输 。 它 意味 着 在 同一 时 刻 ， 只 
有 一 个 方向 上 的 数据 传送 ; 








(2) HTTP 消 息 匈 长 而 繁琐 。HTTP 消 息 包含 消息 头 、 消 息 体 、 换 
行 符 等 ， 通 常情 况 下 采用 文本 方式 传输 ， 相 比 于 其 他 的 二 进 制 通信 协 
pe 见长 而 繁琐 ; 


(3) 针对 服务 器 推送 的 黑客 攻击 。 例 如 长 时 间 轮 询 。 


现在 ， 很 多 网 站 为 了 实现 消息 推送 ， 所 用 的 技术 都 是 轮 询 。 轮 询 是 
在 特定 的 的 时 间 间 隔 “ 如 每 1 秒 ) ， 由 浏览 器 对 服务 器 发 出 HTTP 
request， 然 后 由 服务 器 返回 最 新 的 数据 给 客户 端 浏 览 器 。 这 种 传统 的 模 
式 具 有 很 明显 的 缺点 ， 即 浏览 器 需要 不 断 地 加 服务 器 发 出 请 求 ， 然 而 
HTTP request 的 header 是 非常 见长 的 ， 里 面包 含 的 可 用 数据 比例 可 能 非 
常 低 ， 这 会 占用 很 多 的 带宽 和 服务 器 资源 。 


比较 新 的 一 种 轮 询 技 术 是 Comet， 使 用 了 Ajax。 这 种 技术 虽然 可 达 
p mm DIO ee IRE 


为 了 解决 HTTP 协 议 效率 低下 的 问题 ，HTML5 定 义 了 WebSocket 协 
议 ， 能 更 好 地 节省 服务 器 资源 和 带宽 并 达到 实时 通信 ， 下 个 小 节 让 我 们 
一 起 来 学 习 WebSocket 的 入 门 知 识 。 


11.2 WebSocket 入 门 





WebSocket 是 HTML5 开 始 提供 的 一 种 浏览 器 与 服务 器 间 进 行 全 双 工 
通信 的 网 络 技术 ，WebSocket 通 信 协 议 于 2011 年 被 IETF 定 为 标准 
RFC6455, WebSocket API 被 W3C 定 为 标准 。 


在 WebSocket API 中， 浏览 右 和 服务 器 只 需要 做 一 个 握手 的 动作 ， 
然后 ， 浏 览 器 和 服务 器 之 间 束 形成 了 一 条 快速 通道 ， 两 者 就 可 以 直接 互 
相传 送 数据 了 。 WebSocket 基 于 TCP 双 向 全 双 工 进行 消息 传递 在 同一 
时 刻 ， 既 可 以 发 送 消 轧 ， 也 可 以 接收 请 妃 ， 相 比 于 HTTP 的 半 双 工 协 
议 ， 性 能 得 到 很 大 提升 。 





下 面 总 结 一 下 WebSocket 的 特点 。 


。 单一 的 TCP 连 接 ， 采 用 全 双 工 模式 通信 ; 

e 对 代理 、 防 火 墙 和 路 由 器 透明 ; 

e 无 头 部 信息 、Cookie 和 身份 验证 ; 

。 无 安全 开销 ; 

e 通过 “ping/pong” 帧 保持 链 路 激活 ; 

。 服务 器 可 以 主动 传递 消息 给 客户 端 ， 不 再 需要 客户 端 轮 询 。 


11.2.1 WebSocket 5 


WebSocket 设计 出 来 的 目的 惑 是 要 取代 轮 询 和 Comet 技 术 ， P 
uD Vi, ds AL A ACSR P R RASE SI EE. a XO 1E 
JavaScript 回 服务 器 发 出 建立 WebSocket 连 接 的 请 求 ， 连 接 建立 以 后 ， 客 
户 端 和 服务 器 端 可 以 通过 TCP 连 接 直接 交换 数据 。 因 为 WebSocket 连 接 
本 质 上 束 是 一 个 TCP 连 接 ， 所 以 在 数据 传输 的 稳定 性 和 数据 传输 量 的 大 


小 方面 ， 和 轮 询 以 及 Comet 技 术 相 比 ， 有 具有 很 大 的 性 能 优势 。 
Websocket.org 网 站 对 传统 的 轮 询 方式 和 WebSocket 调 用 方式 作 了 一 个 详 
细 的 测试 和 比较 ， 将 一 个 简单 的 Web 应 用 分 别 通 过 轮 询 方 式 和 
WebSocket 方 式 来 实现 ， 在 这 里 引用 一 下 测试 结果 ， 如 图 11-1 所 示 。 








图 11-1 轮 询 和 WebSocket 网 络 负载 对 比 图 








通过 对 比 图 可 以 清楚 地 看 出 ， 在 流量 和 负载 增 大 的 情况 下 ， 
WebSocket 方 案 相 比 传统 的 Ajax 轮 询 方案 有 极 大 的 性 能 优势 。 这 也 是 为 
什么 我 们 认为 WebSocket 是 未 来 实时 Web 应 用 的 首选 方案 的 原因 。 


11.2.2 WebSocketi#: 1 #17. 


客户 端 和 服务 端 连接 建立 的 示意 图 如 图 11-2 所 示 。 








图 11-2 ”客户 端 和 服务 端 握手 连接 





建立 WebSocket 连 接 时 ， 需 要 通过 客户 端 或 者 浏览 器 发 出 握手 请 
求 ， 请 求 消息 示例 如 图 11-3 所 示 。 














图 11-3 ”WebSocket 客 户 端 握 手 请 求 消息 





为 了 建立 一 个 WebSocket 连 接 ， 客 户 问 浏览 器 首先 要 问 服务 器 发 起 
一 个 HTTP 请 求 ， 这 个 请 求 和 通常 的 HTTP 请 求 不 同 ， 包 含 了 一 些 附加 头 
言 息 ， 其 中 附加 头 信息 “Upgrade: WebSocket” 表 明 这 是 一 个 申请 协议 升 
级 的 HTTP 请求。 服务 堪 问 解析 这 些 附 加 的 头 信 息 ， 然 后 生成 应 答 信 息 
返回 给 客户 端 ， 客 户 端 和 服务 器 端的 WebSocket 连 接 束 建立 起 来 了 ， 双 
方 可 以 通过 这 个 连接 通道 自由 地 传递 信息 ， 并 且 这 个 连接 会 持续 存在 直 
到 客户 端 或 者 服务 器 端的 某 一 方 主动 关闭 连接 。 











服务 端 返回 给 客户 并 的 应 答 消 奶 如 图 11-4 所 示 。 








图 11-4 WebSocket 服 务 端 返回 的 握手 应 答 消 





[eu 








请 求 消息 中 的 “Sec-WebSocket-Key” 是 随机 的 ， 服 务 器 端 会 用 这 些 
数据 来 构造 出 一 个 SHA-1 的 信息 摘要 ， 把 “Sec-WebSocket-Key” 加 上 一 个 
魔幻 字符 串 “258EAFA5-E914- 47DA-95CA-C5AB0DC85B11”。 使 用 
SHA-1 加 密 ， 然 后 进行 BASE-64 编 码 ， 将 结果 做 为 “Sec-WebSocket- 
Accept" 头 的 值 ， 返 回 给 客户 端 。 


11.2.3 “WebSocket 生 命 周期 


握手 成 功 之 后 ， 服 务 端 和 客户 端 就 可 以 通过 “messages” 的 方式 进行 
通信 了 ， 一 个 消息 由 一 个 或 者 多 个 帧 组 成 ，WebSocket 的 消息 并 不 一 完 
对 应 一 个 特定 网 络 层 的 帧 ， 它 可 以 被 分 割 成 多 个 帧 或 者 被 合并 。 


帧 都 有 自己 对 应 的 类 型 ， 属 于 同一 个 消息 的 多 个 帧 具有 相同 类 型 的 
数据 。 从 广义 上 讲 ， 数 据 类 型 可 以 是 文本 数据 (UTF-8[RFC3629] 文 
字 ) 、 二 进 制 数据 和 控制 蚌 〈 协 议 级 信 令 ， 如 信和 号 ) 











WebSocket 连 接生 命 周期 示意 图 如 图 11-5 所 示 。 





图 11-5 WebSocket 生 命 周 期 示意 图 





11.2.4 WebSocket£ 1: X B] 


为 关闭 WebSocket 连 接 ， 客 户 端 和 服务 端 需要 通过 一 个 安全 的 方法 
关闭 底层 TCP 连 接 以 及 TLS 会 话 。 如 果 人 合适， 丢弃 任何 可 能 已 经 接收 的 
字 节 ; 必要 时 《比如 受到 攻击 ) ， 可 以 通过 任何 可 用 的 手段 关闭 连接 。 








底层 的 TCP 连 接 ， 在 正常 情况 下 ， 应 该 首先 由 服务 器 关闭 。 在 异常 
情况 下 例如 在 一 个 合理 的 时 间 周 期 后 没有 接收 到 服务 器 的 TCP 
Close) ， 客 户 端 可 以 发 起 TCP Close。 因 此 ， 当 服务 器 被 指示 关闭 
WebSocket 连 接 时 ， 它 应 该 立即 发 起 一 个 TCP Close 操 作 ;， 客 户 端 应 该 等 
待 服务 器 的 TCP Close。 





WebSocket 的 握手 关闭 消息 带 有 一 个 状态 码 和 一 个 可 选 的 关闭 原 
因 ， 它 必须 按照 协议 要 求 发 送 一 个 Close 控 制 帧 ， 当 对 端 接收 到 关闭 控 
制 帧 指令 时 ， 需 要 主动 关闭 WebSocket 连 接 。 


通过 本 节 的 描述 ， 相 信 读 者 对 WebSocket 的 基础 知识 有 了 一 定 的 了 
解 ， 大 家 如 果 对 WebSocket 规 范 感 兴趣 ， 可 以 访问 WebSocket 的 官网 去 
了 解 更 多 的 相关 知识 。 


下 个 小 节 我 们 将 一 起 学 习 如 何 使 用 Netty 开 发 WebSocket 服 务 端 。 


11.3 Netty WebSocket 协 议 开 发 


Netty 基 于 HTTP 协议 栈 开 发 了 WebSocket 协 议 栈 ， 利 用 Netty 的 
WebSocket 协 议 栈 可 以 非常 方便 地 开发 出 WebSocket 客 户 端 和 服务 端 。 
本 节 通 过 一 个 Netty 服 务 端 实 例 的 开发 ， 辣 读者 讲解 如 何 使 用 Netty 进 行 
WebSocket 开 发 。 


11.3.1 WebSocket 服 务 端 功 能 介绍 


WebSocket 服 务 端 的 功能 如 下 : 支持 WebSocket 的 浏览 器 通过 
WebSocket 协 议 发 送 请 求 消 息 给 服务 端 ， 服 务 端 对 请 求 消息 进行 判断 ， 
如 果 是 合法 的 WebSocket 请 求 ， 则 获取 请 求 消息 体 〈 文 本 ) ， 并 在 后 面 
追加 字符 串 “ 欢 迎 使 用 Netty WebSocket 服 务 ， 现 在 时 刻 : 系统 时 间 ”。 





客户 端 HIML 通 过 内 髋 的 JS 脚本 创建 WebSocket 连 接 ， 如 果 握 手 成 
功 ， 在 文本 框 中 打印 “打开 WebSocket 服 务 正 常 ， 浏 览 器 支持 
WebSocket!”。 客 户 端 界 面 如 图 11-6 所 示 。 


图 11-6 ”WebSocket 客 户 端 HTML 


当前 文 持 WebSocket 的 浏览 器 如 图 11-7 所 示 。 从 图 中 可 以 看 出 ， 目 
前 主流 的 浏览 器 都 已 经 文 持 WebSocket， 但 是 在 运行 本 例 程 之 前 你 仍然 
需要 确认 自己 使 用 的 浏览 器 版 本 是 否 已 经 文 持 WebSocket， 人 否则 会 提 
AN FEAR, FE END EAS AN x EF WebSocket six!” 





图 11-7 支持 WebSocket 的 浏览 器 及 其 版 本 





11.3.2 WebSocket 服 务 端 开发 


首先 对 WebSocket 服 务 端的 功能 进行 简单 地 讲解 。WebSocket 服 务 
端 接收 到 请 求 消息 之 后 ， 先 对 消息 的 类 型 进行 判断 ， 如 果 不 是 
WebSocket 握 手 请 求 消息 ， 则 返回 HTTP 400 BAD REQUEST 响应 给 客 
户 端 。 客 户 端 的 握手 请 求 消息 如 图 11-8 所 示 。 











图 11-8 客户 端 发 送 的 WebSocket 握 手 请 求 消息 























服务 端 对 握手 请 求 消息 进行 处 理 ， 构 造 握手 啊 应 返回 ， 双 方 的 
Socket 连 接 正 式 建 立 ， 服 务 端 返回 的 握手 应 答 消 息 如 图 11-9 所 示 。 











图 11-9 WebSocket 握 手 应 答 消 息 








连接 建立 成 功 后 ， 到 被 关闭 之 前 ， 双 方 都 可 以 主动 向 对 方 发 送 消 
晨 ， 这 点 跟 HTTP 的 一 请 求 一 应 管 模式 存在 很 大 的 益 别 。 相 比 于 HTTP， 
它 的 网 络 利用 率 更 高 ， 可 以 通过 全 双 工 的 方式 进行 消息 发 送 和 接收 。 





下 面 一 起 来 看 下 服务 端 代码 的 具体 实现 ， 首 移 看 服务 局 动 类 。 


代码 清单 11-1 WebSocket 服 务 端 局 动 类 WebSocketServer 





public class WebSocketServer { 
public void run(int port) throws Exception { 
EventLoopGroup bossGroup = new NioEventLoopGroup(); 


EventLoopGroup workerGroup = new NioEventLoopGroup( 


1 

2 

3 

4 

5 try { 
6 ServerBootstrap b = new ServerBootstrap(); 
7 b.group(bossGroup, workerGroup) 

8 .channel(NioServerSocketChannel.class) 
9 


.childHandler(new ChannelInitializer<Socket 


10. 
11. 
12. 
13. 
14. 
15. 


16. 


17. 


18. 


19. 


20. 


@Override 

protected void initChannel(SocketChannel ch 
throws Exception { 
ChannelPipeline pipeline = ch.pipeline( 


pipeline.addLast("http-codec", 


new HttpServerCodec()); 


pipeline.addLast("aggregator", 


new HttpObjectAggregator (65536) ); 


ch.pipeline().addLast("http-chunked", 


new ChunkedwriteHandler()); 


21. 


22. 


23. 
24. 
25. 
26. 
27. 
28. 
29. 
30. 
31. 
32. 
33. 
34. 
35. 
36. 
37. 
38. 
39. 


pipeline.addLast("handler", 


new WebSocketServerHandler()); 


} 
J): 


Channel ch = b.bind(port).sync().channel(); 
System.out.println("Web socket server started a 
to 5 
System.out 
.println("Open your browser and navigate to 


+ port + t4 


ch.closeFuture().sync(); 
} finally { 
bossGroup.shutdownGracefully(); 


workerGroup.shutdownGracefully(); 


40. public static void main(String[] args) throws Excep 


41. int port = 8080; 

42. if (args.length > 0) { 

43. try { 

44. port = Integer.parseInt(args[0]); 
45. ) catch (NumberFormatException e) { 
46. e.printStackTrace(); 

47. 3 

48. } 

49. new WebSocketServer().run(port); 

50. } 

51. } 





第 15 一 16 行 首先 添加 HttpServerCodec， 将 请 求 和 应 答 消 息 编 码 或 者 
解码 为 HTTP 消息 ， 第 17 一 18 行 增加 HttpObjectAggregator， 它 的 目的 是 
将 HTTP 消 息 的 多 个 部 分 组 合成 一 条 完整 的 HITP 消 息 ; 第 19 一 20 行 添加 
ChunkedWriteHandler， 来 回 客 户 端 发 送 HITML5 文 件 ， 它 主要 用 于 文 持 
浏览 堪 和 服务 疹 进行 WebSocket 通 信 ; 最 后 21 一 22 行 增加 WebSocket 服 
务 端 handler。 


看 了 WebSocket 的 服务 启动 类 ， 很 多 读者 会 心 存 疑惑 ， 怎么 
WebSocket 服 务 问 的 代码 跟 HTTP 协 议 的 非常 类 似 呢 ? 没 有 看 到 在 
ChannelPipeline 中 增加 WebSocket 的 Handler， 那 如 何 处 理 WebSocket 消 
息 ? 这 个 疑问 很 好 ， 下 面 就 一 起 来 从 WebSocketServerHandler 的 实现 中 
寻找 答案 。 





代码 清单 11-2 WebSocket 服 务 端 处 理 类 WebSocketServerHandler 





1 public class WebSocketServerHandler extends SimpleChann 
2 private static final Logger logger = Logger 

3 .getLogger (WebSocketServerHandler.class.getName 
4 

55 private WebSocketServerHandshaker handshaker; 

6 

7 @Override 

8 public void messageReceived(ChannelHandlerContext c 
9 throws Exception { 

10. // 传统 的 HTTP 接 入 

T. if (msg instanceof FullHttpRequest) { 

12. handleHttpRequest(ctx, (FullHttpRequest) msg); 
13. } 

14. // WebSocket 接 入 

15. else if (msg instanceof WebSocketFrame) { 

16. handlewebSocketFrame(ctx, (WebSocketFrame) msg) 
17. } 

18. } 

19. 

20. @Override 

21. public void channelReadComplete(ChannelHandlerConte 
22. ctx.flush(); 

23. } 

24. 

25. private void handleHttpRequest(ChannelHandlerContex 


26. FullHttpRequest req) throws Exception { 


2T. 
28. 
29. 
30. 
31. 
32. 
33. 
34. 
35. 
36. 
37. 
38. 
39. 
40. 
41. 
42. 
43. 
44. 
45. 
46. 
47. 
48. 
49. 
50. 
51. 
52, 
53. 








// 如 果 HTTP 解 码 失败 ， 返 回 HTTP 异 常 
if (!req.getDecoderResult().isSuccess() 
|| (!"websocket".equals(req.headers().get("Upgr 
sendHttpResponse(ctx, reg, new DefaultFullHttpR 
BAD REQUEST)); 


return; 


// 构造 握手 响应 返回 ， 本 机 测试 
WebSocketServerHandshakerFactory wsFactory = new We 
"ws://localhost:8080/websocket", null, false); 
handshaker - wsFactory.newHandshaker(req); 
if (handshaker == null) { 
WebSocketServerHandshakerFactory 
. sendUnsupportedwebSocketVersionResponse(ct 
} else { 


handshaker.handshake(ctx.channel(), req); 


private void handleWebSocketFrame(ChannelHandlerCon 


WebSocketFrame frame) { 


// 判断 是 否 是 关闭 链 路 的 指令 
if (frame instanceof CloseWebSocketFrame) { 


handshaker.close(ctx.channel(), 


54, 
55. 
56. 
57. 
58. 
59. 
60. 
61. 
62. 
63. 
64. 
65. 
66. 
67. 
68. 
69. 
70. 
71. 
72. 
13% 
74. 
75. 
76. 
77. 
78. 
79. 
80. 


(ClosewebSocketFrame) frame.retain()); 
return; 
} 
// 判断 是 否 是 Ping 消 息 
if (frame instanceof PingWebSocketFrame) { 
ctx.channel().write( 
new PongWebSocketFrame(frame.content().reta 
return; 
} 
// 本 例 程 仅 支持 文本 消息 ， 不 支持 二 进 制 消 息 


if (!(frame instanceof TextWebSocketFrame)) { 








throw new UnsupportedOperationException(String. 


"%S frame types not supported", frame.getCl 


// 返回 应 答 消 息 
String request = ((TextWebSocketFrame) frame) .text( 
if (logger.isLoggable(Level.FINE)) { 

logger.fine(String.format("%s received %s", ctx 
} 
ctx.channel().write( 

new TextWebSocketFrame(request 

+" ， 欢 迎 使 用 Netty WebSocket 服 务 ， 现 在 时 刻 : " 


+ new java.util.Date().toString())); 


private static void sendHttpResponse(ChannelHandler 


81. 
82. 
83. 
84. 
85. 
86. 
87. 
88. 
89. 
90. 
91. 
92. 
93. 
94. 
95. 
96. 
97. 
98. 
99. 


100. 
101. 
102. 
103. 
104. 


FullHttpRequest req, FullHttpResponse res) { 
// 返回 应 答 给 客户 端 
if (res.getStatus().code() != 200) { 
ByteBuf buf = Unpooled.copiedBuffer(res.getStat 
CharsetUtil.UTF_8); 
res.content().writeBytes(buf); 
buf.release(); 


setContentLength(res, res.content().readableByt 





// 如 果 是 非 Keep-ALive， 关 闭 连 接 
ChannelFuture f = ctx.channel().writeAndFlush(res); 
if (!isKeepAlive(req) || res.getStatus().code() != 


f.addListener(ChannelFutureListener.CLOSE); 


QOverride 
public void exceptionCaught(ChannelHandlerContext c 
throws Exception { 
cause.printStackTrace(); 


ctx.close(); 


j 








首先 从 第 11 行 看 起 ， 第 一 次 握手 请 求 消息 由 HITP 协 议 承 载 ， 所 以 


它 是 一 个 HITP 消 息 ， 执 行 handleHttpRequest 方 法 来 处 理 WebSocket 握 手 
请 求 。 第 29 一 34 行 首先 对 握手 请 求 消息 进行 判断 ， 如 果 消 息 头 中 没有 包 
含 Upgrade 字 段 或 者 它 的 值 不 是 websocket， 则 返回 HITP 400 啊 应 。 








握手 请 求 简 单 校 验 通 过 之 后 ， 开 始 构造 握手 工 上 三， 创建 握手 处 理 类 
WebSocketServer Handshaker， 通 过 它 构造 握手 啊 应 消息 返回 给 客户 
端 ， 同 时 将 WebSocket 相 关 的 编码 和 解 但 类 动态 添加 到 ChannelPipeline 
中 ， 用 于 WebSocket 消 息 的 编 解码 ， 代 码 如 图 11-10 所 示 。 








NS 





图 11-10 ”WebSocket 握 和 手 应 答 时 动态 增加 编 解 码 handler 

















添加 WebSocket Encoder 和 WebSocket Decoder 之 后 ， 服 务 端 就 可 以 
自动 对 WebSocket 消 息 进 行 编 解码 了 ， 后 面 的 业务 handler 可 以 直接 对 
WebSocket 对 象 进行 操作 。 下 面 继续 分 析 链 路 建立 成 功 之 后 的 操作 : 客 
户 端 通过 文本 框 提 交 请 求 消息 给 服务 端 ，WebSocket ServerHandler 接 收 
到 的 是 已 经 解码 后 的 WebSocketFrame 消 息 。 第 48 一 96 行 对 WebSocket 请 
求 消 息 进 行 处 理 ， 首 先 需 要 对 控制 帧 进行 判断 ， 如 果 是 关闭 链 路 的 控制 
消息 ， 就 调用 WebSocketServerHandshaker 的 close 方 法 关闭 WebSocket 连 
接 ; 如 果 是 维持 链 路 的 Ping 消 息 ， 则 构造 Pong 消 恩 返 回 。 由 于 本 例 程 的 
WebSocket 通 信 双 方 使 用 的 都 是 文本 消息 ， 所 以 对 请 求 消息 的 类 型 进行 
FIT, ASAE SC AS AN SH RI o 














ia, M TextWebSocketFramerP 3k iin kB ST, EAS 
通过 构造 新 的 TextWebSocketFrame 消 息 返 回 给 客户 端 ， 由 于 握手 应 答 时 
动态 增加 了 TextWebSocketFrame 的 编码 类 ， 所 以 ， 可 以 直接 发 送 
TextWebSocketFrame 对 象 。 


客户 端 浏览 器 接收 到 服务 端的 应 答 消息 后 ， 将 其 内 容 取出 展示 到 浏 





览 器 页 面 中 。 我 们 简单 分 析 客 户 端 WebSocketServer.html 的 源码 。 





<html> 

<head> 

<meta charset="UTF-8"> 

Netty WebSocket 时 间 服 务 器 
</head> 

<br> 

<body> 

<br> 

<script type="text/javascript"> 


var 


socket; 


if 


(!window.WebSocket ) 
{ 


window.WebSocket = window.MozWebSocket; 


if 


(window.WebSocket) { 


socket = new WebSocket ("ws://localhost :8080/websocket"); 


socket .onmessage = function(event) { 


var ta = document.getElementById('responseText' ); 


ta.value=""; 


ta.value = event.data 


}; 


socket.onopen = function(event) { 


var ta = document.getElementById('responseText' ); 


ta.value = "打开 WebSocket 服 务 正常 ， 浏 览 嚣 支持 WebSocket!"; 





}; 


socket.onclose = function(event) { 


var ta = document.getElementById('responseText' ); 


ta.value = ""; 


ta.value = "WebSocket 关闭 1"，; 


} 

else 
{ 
alert ("Hik fem Asc WebSocket Pik! "); 
} 

function 


send(message) { 


if (!window.WebSocket) { return; } 


if (socket.readyState == WebSocket.OPEN) { 


socket .send(message ) ; 














} 
else 
{ 
alert("WebSocket 连 接 没有 建立 成 功 !" ) ; 
} 
} 
</script> 


<form onsubmit="return false;"> 


<input type="text" 


name="message" 


value="Netty 最 佳 实践 " 


/> 
<br><br> 


<input type="button" 


value=" 发 送 WebSocket 请 求 消息 " 





onclick="send (this.form.message.value)"/> 


<hr color="blue" 


/> 
<h3> 服 务 端 返回 的 应 答 消息 </h3> 


<textarea id="responseText" 


style="width: 500px; 


height : 300px; 


"></textarea> 
</form> 
</body> 
</html> 





FH ie IS FT A WebSocket hi} e O EE BRIEF, Br ELM AB AS EROS, 


对 此 感 兴趣 的 同学 可 以 通过 JSR356、 相 关 的 技术 书籍 或 者 网 站 进行 学 
2]. 


uf, dE T NettyfXJWebSocketik 3 m BAF RTE, FAMER 
起 来 测试 下 本 节 开 发 的 程序 ， 看 它 的 各 项 功能 是 否 能 够 达到 设计 预期 。 


11.3.3 ”运行 WebSocket 服 务 端 


启动 WebSocket 服 务 ， 采 用 支持 WebSocket 的 浏览 器 访问 
WebSocketServer.html， 显 示 结 果 如 图 11-11 所 示 。 


图 11-11 通过 浏览 器 访问 WebSocket 服 务 端 


文本 框 中 显示 “打开 WebSocket 服 务 正常 ， 浏 览 器 支持 
WebSocket!”， 说 明 WebSocket 链 路 建立 成 功 ， 然 后 单 击 【发 送 
WebSocket 请 求 消息 】 按 钮 ， 显 示 结 果 如 图 11-12 所 示 。 





图 11-12 ”打印 WebSocket 服 务 端 返 回 的 结果 








当 使 用 不 文 持 WebSocket 的 老 版 本 正 浏览 器 打开 
WebSocketServer.html 时 ， 运 行 结果 如 图 11-13 所 示 。 








图 11-13 ”不 支持 WebSocket 的 浏览 器 运行 效果 图 


11.4 i£ 


本 章 首 先 介绍 了 HTTP 协 议 的 弊端 和 产生 WebSocket 的 一 些 技术 背 
景 ， 随 后 对 WebSocket 的 优势 和 基础 入 门 知 识 进 行 了 介绍 ， 包 括 
WebSocket 的 握手 请 求 和 啊 应 、 连 接 的 建立 和 关闭 、WebSocket 的 生命 
周期 等 。 





学 习 了 WebSocket 的 基础 知识 之 后 ， 通 过 Netty WebSocket 时 间 服 务 
器 的 开发 ， 读 者 朋友 可 以 更 好 地 竺 握 如 何 利 用 Netty 提 供 的 WebSocket 协 
议 栈 进行 WebSocket 应 用 程序 的 开发 。 


由 于 WebSocket 本 喘 的 复杂 性 ， 以 及 可 以 通过 多 种 形式 〈 例 如 文本 
方式 、 二 进 制 方式 ) 承载 消息 ， 所 以 ， 它 的 API 和 用 法 也 非常 多 ， 限 于 
篇 幅 ， 本 书 无 法 对 这 些 场景 一 一 枚 举 。 和 希望 本 章 的 例 程 能 够 起 到 抛 砖 引 
玉 的 作用 ， 想 要 掌握 更 多 的 用 法 ， 需 要 读者 结合 Netty 的 测试 用 例 和 示 
例 ， 以 及 WebSocket 相 关 类 库 的 Java Doc 进行 深入 学 习 和 实践 ， 相 信 通 
过 不 断 的 实践 很 快 束 能 掌握 更 多 的 功能 和 用 法 。 





下 一 章 ， 我 们 将 继续 学 习 如 何 利用 Netty 进 行 UDP 协议 的 开发 。 


频 等 可 靠 性 要 求 不 高 的 数据 传输 一 般 会 使 用 UDP， 即 便 有 一 定 的 丢 包 


第 12 音 ”UDP 协议 开发 


UDP 是 用 户 数据 报 协议 〈User Datagram Protocol, UDP) 的 简称 ， 
其 主要 作用 是 将 网 络 数据 流量 压缩 成 数据 报 形式 ， 提 供 面 问 事 务 的 简单 
音 息 传送 服务 。 与 TCP 协 议 不 同 ，UDP 协 议 直接 利用 了 协议 进行 UDP 数 
据 报 的 传输 ，UDP 提 供 的 是 面向 无 连接 的 、 不 可 靠 的 数据 报 投递 服务 。 
当 使 用 UDP 协议 传输 信息 时 ， 用 户 应 用 程序 必须 负责 解决 数据 报 丢 失 、 
重复 、 排 序 ， 差 错 确 认 等 问题 。 


由 于 UDP 具有 资源 消耗 小 、 处 理 速 度 快 的 优点 ， 所 以 通常 视频 、 





率 ， 也 不 会 对 功能 造成 严重 的 影 啊 。 


序 。 


从 本 前 开 始 ， 我 们 将 学 习 如 何 利用 Netty 开 发 寞 步 的 UDP 应 用 程 


本 章 主 要 内 容 包 括 : 


UDP 协议 简介 
UDP 服务 端 开 发 
UDP 客户 端 开 发 
运行 UDP 例 程 


>r 
日 


12.1 UDP 协议 简介 


UDP 是 无 连接 的 ， 通 信 双 方 不 需要 建立 物理 链 路 连接 。 在 网 络 中 它 
用 于 处 理 数据 包 ， 在 OSI 模 型 中 ， 它 处 于 第 四 层 传输 层 ， 即 位 于 IP 协 议 
的 上 一 层 。 它 不 对 数据 报 分 组 、 组 效 、 校 验 和 排序 ， 因 此 是 不 可 靠 的 。 
报 文 的 发 送 者 不 知道 报 文 是 否 被 对 方正 确 接收 。 


UDP 数据 报 格式 有 首部 和 数据 两 个 部 分 ， 首 部 很 简单 ， 为 8 个 字 
节 ， 包 括 以 下 部 分 。 


Gd) Wind: 源 端口 号 ，2 个 字 节 ， 最 大 值 为 656535; 
CO 目的 端口 : 目的 端口 号 ，2 个 字 节 ， 最 大 值 为 65535; 
(3) KÆ: 2 字 节 ，UDP 用 户 数据 报 的 总 长 度 ; 


(4) 校 验 和 : 2 字 节 ， 用 于 校 验 UDP 数 据 报 的 数字 段 和 包含 UDP 数 
据 报 首部 的 “ 伪 首 部 "。 其 校 验 方法 类 似 于 IP 分 组 首部 中 的 首部 校 验 和 。 





伪 首 部 ， 又 称 为 伪 包 头 (Pseudo Header) : 是 指 在 TCP 的 分 段 或 
UDP 的 数据 报 格式 中 ， 在 数据 报 首部 前 面 增加 源 IP 地 址 、 目 的 IP 地 址 、 
IP 分 组 的 协议 字段 、TCP 或 UDP 数 据 报 的 总 长 度 等 ， 共 12 字 节 ， 所 构成 
的 扩展 首部 结构 。 此 伪 首 部 是 一 个 临时 的 结构 ， 它 既 不 同上 也 不 同 下 传 
递 ， 仅 仅 是 为 了 保证 可 以 校 验 套 接 字 的 正确 性 。 








UDP 协议 数据 报 格式 示意 图 如 图 12-1 所 示 。 


图 12-1 UDP 协议 数据 报 格式 





UDP 协议 的 特点 如 下 。 





(1) UDP 传送 数据 前 并 不 与 对 方 建立 连接 ， 即 UDP 是 无 连接 的 。 
在 传输 数据 前 ， 发 送 方 和 接收 方 相互 交换 信息 使 双方 同步 ; 








(2) UDP 对 接收 到 的 数据 报 不 发 送 确认 信号 ， 发 送 端 不 知道 数据 
征 否 被 正确 接收 ， 也 不 会 重 发 数据 


(3) UDP 传送 数据 比 TCP 快 速 ， 系 统 开销 也 少 : UDP 比较 简单 ， 
UDP 头 包 含 了 源 端 口 、 目 的 端口 、 消 息 长 度 和 校 验 和 等 很 少 的 字 节 。 由 
于 UDP 比 TCP 简 单 、 灵 活 ， 常 用 于 可 靠 性 要 求 不 高 的 数据 传输 ， 如 视 
频 、 图 片 以 及 简单 文件 传输 系统 (TFTP) 等 。TCP 则 适用 于 可 靠 性 要 求 
很 高 但 实时 性 要 求 不 高 的 应 用 ， 如 文件 传输 协议 FTP、 超 文本 传输 协议 
HTTP、 人 简单 邮件 传输 协议 SMTP 等 。 





在 下 面 的 章节 我 们 一 起 学 习 如 何 通过 Netty 开 发 UDP 协议 客户 端 和 
服务 端 应 用 。 


12.2 UDP 服务 端 开发 


由 于 UDP 通信 双方 不 需要 建立 链 路 ， 所 以 ， 代 码 相 对 于 TCP 更 加 简 
单一 些 ， 下 面 来 看 服务 端 代 码 。 


代码 清单 12-1 UDP 服务 端 启动 类 ”ChineseProverbServer 





public class ChineseProverbServer { 
public void run(int port) throws Exception { 


1 

2 

3 EventLoopGroup group = new NioEventLoopGroup(); 
4. try { 

5 Bootstrap b = new Bootstrap(); 

6 


b.group(group).channel(NioDatagramChannel.class) 


7. .option(ChannelOption.SO BROADCAST, true) 
8. .handler(new ChineseProverbServerHandler()); 
9 . b.bind(port).sync().channel().closeFuture().awai 


10. } finally { 


11. group.shutdownGracefully(); 


12. } 

13. } 

14. 

15: public static void main(String[] args) throws Excep 
16. int port = 8080; 

17. if (args.length > 0) { 

18. try { 

19. port = Integer.parseInt(args[0]); 
20. } catch (NumberFormatException e) { 
21. e.printStackTrace(); 

22: } 

23. } 

24. new ChineseProverbServer().run(port); 
25. } 

26. } 





首先 看 第 6 行 ， 由 于 使 用 UDP 通信 ， 在 创建 Channel 的 时 候 需 要 通过 
NioDatagramChannel 来 创建 ， 随 后 设置 Socket 参 数 文 持 广播 ， 最 后 设置 
业务 处 理 handler。 


相 比 于 TCP 通 信 ，UDP 不 存在 客户 端 和 服务 端的 实际 连接 ， 因 此 不 
需要 为 连接 (ChannelPipeline) 设置 handler， 对 于 服务 端 ， 只 需要 设置 
启动 辅助 类 的 handler 即 可 。 


下 面 看 ChineseProverbServerHandler 的 实现 。 


代码 清单 12-2 ”UDP 服务 端 启动 类  ChineseProverbServerHandler 





public class ChineseProverbServerHandler extends 
SimpleChannelInboundHandler<DatagramPacket> { 


// 谚语 列表 





1 

2 

3 

4 private static final String[] DICTIONARY={" 只 要 功夫 深 
>， "旧时 王 谢 堂前 燕 ， 飞 入 寻常 百姓 家 。"， "洛阳 亲友 如 相间 ， 一 ， 
6 

7 

8 

9 














"ERM, SETE. AE, bb AOI" 3; 


private String nextQuote() { 


int quoteId-ThreadLocalRandom.current().nextInt(DIC 





10. return DICTIONARY[quoteId]; 

11. } 

12. 

13. @Override 

14. public void messageReceived(ChannelHandlerContext c 
15. throws Exception { 

16. String req = packet.content().toString(CharsetUtil. 
t7; System.out.println(req); 

18. if ("谚语 字典 查询 ?",equals(req)) { 

19. ctx.writeAndFlush(new DatagramPacket(Unpooled.c 
20. "谚语 查询 结果 : " + nextQuote(), CharsetUtil.U 
21. .sender())); 

22, } 

23. } 


25, @Override 


26. public void exceptionCaught(ChannelHandlerContext c 
27. throws Exception { 

28. ctx.close(); 

29. cause.printStackTrace(); 

30. } 

31. } 





首先 看 第 14 行 ，Netty 对 UDP 进行 了 封装 ， 因 此 ， 接 收 到 的 是 Netty 
封装 后 的 io.netty. channel.socket.DatagramPacket 对 象 。 第 16 行 将 packet 内 
容 转 换 为 字符 串 (利用 ByteBuf 的 toString(Charset) 方 法 ) ， 然 后 对 请 求 
消息 进行 合法 性 判断 : 如 果 是 “谚语 字典 和 查询"”"， 则 构造 应 答 消 息 返 
回 。DatagramPacket 有 两 个 参数 : 第 一 个 是 需要 发 送 的 内 容 ， 为 
ByteBuf; 另 一 个 是 目的 地 址 ， 包 括 IP 和 端口 ， 可 以 直接 从 发 送 的 报 文 
DatagramPacket 中 获取 。 








由 于 ChineseProverbServerHandler 存 在 多 线程 并 发 操作 的 可 能 ， 所 
以 使 用 了 Netty 的 线程 安全 随机 类 ThreadLocalRandom。 如 果 使 用 的 是 
JDK7， 可 以 直接 使 用 JDK7 的 java.util.concurrent.ThreadLocalRandom。 


下 面 我 们 来 简单 回顾 下 UDP 服 务 端 处 理 流程 图 ， 如 图 12-2 所 示 。 




















图 12-2 ”UDP 服务 端 处 理 流 程 图 














12.3 UDP 客户 端 开发 


UDP 程序 的 客户 端 和 服务 端 代码 非常 相似 ， 唯 一 不 同 之 处 是 UDP 客 
户 端 会 主动 构造 请 求 消 息 ， 回 本 网 段 内 的 所 有 主机 广播 请 求 消 四 ， 对 于 
服务 端 而 言 ， 接 收 到 广播 请 求 消息 之 后 会 问 广 播 消 妃 的 发 起 方 进行 定点 








下 面 看 一 下 UDP 客户 端的 实现 。 


代码 清单 12-3 UDP 客户 端 启动 类 ChineseProverbClient 





public class ChineseProverbClient { 


public void run(int port) throws Exception { 
EventLoopGroup group = new NioEventLoopGroup(); 


try { 


Bootstrap b = new Bootstrap(); 

b.group(group).channel(NioDatagramChannel.class 
.option(ChannelOption.SO BROADCAST, true) 
.handler(new ChineseProverbClientHandler()) 

Channel ch - b.bind(0).sync().channel(); 

// 向 网 段 内 的 所 有 机 器 广播 UDP 消息 

ch.writeAndFlush( 








new DatagramPacket (Unpooled.copiedBuf fer ("iz 
CharsetUtil.UTF_8), new InetSocketAddre 


"255.255.255.255", port))).syne(); 


16. if (!ch.closeFuture().await(15000)) { 


17% System.out.println(" im"); 

18. } 

19. } finally { 

20. group.shutdownGracefully(); 

21. } 

22. } 

23. 

24. public static void main(String[] args) throws Excep 
25. int port - 8080; 

26. if (args.length » 0) ( 

27. try { 

28. port = Integer.parseInt(args[0]); 
29. } catch (NumberFormatException e) { 
30. e.printStackTrace(); 

31. } 

32. } 

33. new ChineseProverbClient().run(port); 
34. } 

35. } 





创建 UDP Channel 和 设置 文 持 广播 属性 等 与 服务 端 完全 一 致 。 由 于 
不 需要 和 服务 端 建立 链 路 ，UDP Channel 创 建 完 成 之 后 ， 客 户 端 就 要 主 
动 发 送 广播 消息 ，TCP 客 户 端 是 在 客户 端 和 服务 端 链 路 建立 成 功 之 后 由 
客户 端的 业务 handler 发 送 消 息 ， 这 就 是 两 者 最 大 的 区 别 。 





第 12 和 15 行 用 于 构造 DatagramPacket 发 送 广播 消息 ， 注 意 ， 广 播 消 


四 的 卫 设 置 为 “255.255.255.255”。 消 息 广 播 之 后 ， 客 户 端 等 待 15s 用 于 接 
收服 务 端 的 应 答 消 息 ， 然 后 退出 并 释放 资源 。 


下 面 继续 看 客户 端 handler 类 的 实现 。 


代码 清单 12-4 UDP 客户 端 处 理 类 ChineseProverbClientHandler 





public class ChineseProverbClientHandler extends 


SimpleChannelInboundHandler<DatagramPacket> { 


@Override 
public void messageReceived(ChannelHandlerContext c 
throws Exception { 


String response = msg.content().toString(CharsetUti 





if (response ..startswith "EERMWER: ")) { 
System.out.println(response); 


ctx.close(); 


QOverride 

public void exceptionCaught(ChannelHandlerContext c 
throws Exception { 

cause.printStackTrace(); 


ctx.close(); 


j 


代码 非常 简单 ， 接 收 到 服务 端的 消 轧 之 后 将 其 转 成 字符 串 ， 然 后 判 
NER WERWER: ”开头 ， 如 果 没 有 发 生 丢 包 等 问题 ， 数 据 是 完 
EN, MITA, a eB 


y— 


12.4 运行 UDP 例 程 


首先 局 动 UDP 服 务 端 ， 然 后 启动 客户 端 (运行 两 次 ) ， 碍 看 运行 结 
Ro 


服务 端 运行 结 果 如 图 12-3 所 示 。 


图 12-3 ”UDP 服务 端 运行 结果 








客户 端 运 行 结果 1 如 图 12-4 所 示 。 








图 12-4 UDP 客户 端 运行 结果 1 





客户 端 运 行 结果 2 如 图 12-5 所 示 。 








图 12-5 ”UDP 客户 端 运行 结果 2 





通过 客户 端的 两 次 运行 结果 可 以 看 出 ， 每 次 运行 的 结果 都 不 一 样 ， 
说 明 UDP 服 务 端 的 谚语 查询 功能 正确 。 客 户 端 能 够 成 功 接收 并 处 理 服务 
端的 应 答 ， 说 明 在 这 个 过 程 中 没有 发 生 丢 包 和 乱 序 等 问题 。 





12.5 AZ 


本 章 详 细 介 绍 了 如 何 利用 Netty 进 行 UDP 服务 端 和 客户 器 的 开发 。 
首先 对 UDP 协议 进行 了 简单 介绍 ， 随 后 通过 Netty UDP 服 务 端 和 客户 站 
的 开发 以 及 运行 让 读者 尽快 地 掌握 UDP 开发 的 步骤 ， 熟 悉 相 关 类 库 的 应 
用 。 


由 于 UDP 相对 于 TCP 应 用 领域 更 窄 一些， 所以， 本 书 不 把 UDP 作为 
重点 进行 介绍 ， 如 果 读 者 所 从 事 的 工作 跟 UDP 强 相 关 ， 或 者 希望 对 UDP 
有 更 加 深入 的 了 解 ， 可 以 通过 其 他 UDP 相关 的 书籍 进行 深入 学 习 。 


第 13 章 ”文件 传输 
文件 (File〉 是 最 常见 的 数据 源 之 一 ， 在 程序 中 经 常 需 要 将 数据 存 
储 到 文件 中 ， 例 如 图 片 文件 、 声 音 文件 等 数据 文件 。 在 实际 使 用 时 ， 文 
件 都 包含 一 个 特定 的 格式 ， 这 个 格式 需要 程序 员 根 据 需 求 进行 设计 。 读 
取 已 有 的 文件 时 也 需要 熟悉 对 应 的 文件 格式 ， 才 能 把 数据 从 文件 中 正确 
地 读 取 出 来 。 








在 NIO 类 库 提供 之 前 ，Java 所 有 的 文件 操作 分 为 两 大 类 : 


e 基于 字 节 流 的 InputStream 和 OutputStream:; 
。 其 于 字符 流 的 Reader 和 Writer。 


通过 NIO 新 提供 的 FileChannel 类 库 可 以 方便 地 以 “管道 ”方式 对 文件 
进行 各 种 VO 操作 ， 相 比 于 传统 以 流 的 方式 进行 的 VO 操作 有 了 很 大 的 变 
化 和 改进 。 从 本 章 开 始 ， 我 们 将 学 习 如 何 通 过 Netty 进 行文 件 WVO 操 作 。 


本 章 主 要 内 容 包 括 : 


。 文件 的 基础 知识 
。Netty 文 件 传 输 开 发 
。 运行 Netty 文 件 传输 服务 例 程 


13.1 文件 的 基础 知识 


在 开始 学 习 Netty 文 件 传 输 应 用 之 前 ， 我 们 首先 对 文件 的 基础 知识 
进行 介绍 ， 如 果 读 者 对 文件 系统 和 Java 文 件 操作 已 经 非常 熟悉 ， 建 议 跳 
过 本 小 节 ， 直 接 学 习 Netty 的 文件 传输 应 用 开发 。 


13.1.1 文件 的 概念 





文件 是 计算 机 中 一 种 基本 的 数据 存储 形式 ， 在 实际 存储 数据 时 ， 如 
条 对 于 数据 的 读 写 速度 要 求 不 是 很 高 ， 存 储 的 数据 量 不 是 很 大 ， 使 用 文 
件 作为 一 种 持久 数据 存储 的 方式 是 比较 好 的 选择 。 存 储 在 文件 内 部 的 数 
据 和 内 存 中 的 数据 不 同 ， 存 储 在 文件 中 的 数据 是 一 种 “持久 存储 ” a 
古 当 程序 退出 或 计算 机 关机 以 后 ， 数 据 还 是 存在 的 ， 而 内 存 中 的 数据 在 
程序 退出 或 计算 机 关机 以 后 ， 束 会 于 失 了 。 














在 不 同 的 存储 介质 中 ， 文 件 中 的 数据 都 是 以 一 定 的 顺序 依次 存储 起 
来 的 。 在 实际 读 取 时 由 硬件 以 及 操作 系统 完成 对 于 数据 的 控制 ， 保 证 程 
序 读 取 到 的 数据 和 存储 的 顺序 一 致 。 每 个 文件 以 一 个 文件 路 径 和 文件 名 
称 进 行 表示 ， 在 需要 访问 该 文件 时 ， 只 需要 知道 该 文件 的 路 径 以 及 文件 
的 全 名 即 可 。 在 不 同 的 操作 系统 环境 下 ， 文 件 路 径 的 表示 形式 是 不 一 样 
的 ， 例 如 在 Windows 操 作 系 统 中 一 般 的 表示 形式 为 C:\windows， 而 在 
Linux 上 的 表示 形式 为 /home/lilinfeng。 


13.1.2 ”文件 路 径 


绝对 路 径 是 指 文件 的 完整 路 径 ， 例 如 
D:javaniovmetty\FileServer.java， 访 路径 中 包含 文件 的 完整 路 径 
Djavamniovetty 以 及 文件 的 全 名 FileServer.java。 使 用 该 路 径 可 以 找到 一 


个 唯一 的 文件 。 使 用 绝对 路 径 的 最 大 缺点 就 是 不 同 的 操作 系统 文件 路 径 
和 表示 形式 不 同 ， 使 用 不 当 往 往 会 导致 文件 读 取 失 败 ， 因 此 ， 在 实际 项 
目 应 用 时 ， 往 往 使 用 相对 路 径 或 者 类 路 径 。 








在 Eclipse 项 目 中 运行 程序 时 ， 当 前 路 径 是 项 目的 根 目 录 。 假 如 ， 工 
作 空 间 存储 在 D:javanio， 当 前 项 目 名 称 是 netty， 则 当前 路 径 是 
Diavaniovmetty。 在 Eclipse 控制 台 运 行程 序 时 ， 当 前 路 径 是 class 文 件 所 
在 的 目录 ， 如 果 class 文 件 包含 包 名 ， 则 以 该 class 文 件 最 顶层 的 包 名 作为 
当前 路 径 。 


13.13 ”文件 名 称 


文件 一 般 采 用 “文件 名 .后 级 名 ”的 形式 进行 命名 ， 其 中 “文件 名 ”用 来 
表示 文件 的 作用 ， 而 使 用 后 级 名 来 表示 文件 的 类 型 ， 这 是 当前 操作 系统 
中 常见 的 一 种 形式 。 例 如 “API.doc” 文 件 ， 其 中 API 代 表 该 文件 的 名 称 ， 
而 后 级 名 doc 代 表 文 件 是 windows office world 类 型 ， 在 Windows 操 作 系 统 
中 ， 还 会 自动 将 特定 格式 的 后 缀 名 和 对 应 的 程序 关联 ， 在 双击 该 文件 时 
使 用 特定 的 程序 打开 。 








文件 名 称 只 是 一 个 标示 ， 和 实际 存储 的 文件 内 容 没 有 必然 的 联系 。 
在 程序 中 需要 存储 数据 时 ， 如 果 上 自己 设计 了 特定 的 文件 格式 ， 则 可 以 自 
定义 文件 的 后 缀 名 ， 来 表示 文件 类 型 。 和 文件 路 径 一 样 ， 在 Java 代 码 内 
部 书写 文件 名 称 时 也 区 分 大 小 写 ， 文 件 名 称 的 大 小 写 必须 和 操作 系统 中 
的 大 小 写 保 持 一 致 。 





13.1.4 FileChannel 简 介 


Java NIO 中 的 FileChannel 是 一 个 连接 到 文件 的 通道 ,可 以 通过 这 个 文 


件 通 道 读 写 文件 。JDK1.7 之 前 NIO1.0 的 FileChannel 是 同步 阻塞 的 ， 
JDK1.7 版 本 对 NIO 类 库 进 行 了 升级 ， 升 级 后 的 NIO2.0 提 供 了 异步 文件 通 
道 AsynchronousFileChannel， 它 文 持 异 步 非 阻塞 文件 操作 CAIO) 。 








在 使 用 FileChannel 之 前 必须 先 打开 它 ，FileChannel 无 法 直接 被 打 
开 ， 需 要 通过 使 用 InputStream、OutputStream 或 RandomAccessFile 来 获 
取 一 个 FileChannel 实 例 。 下 面 示范 如 何 通 过 RandomAccessFile 打 开 
FileChannel. 





RandomAccessFile billFile - new RandomAccessFile("home/lilinf 


FileChannel channel = billFile.getChannel(); 





如 果 需 要 从 FileChannel 中 该 取 数 据 ， 要 申请 一 个 ByteBuffer， 将 数 
据 从 FileChannel 中 读 取 到 字 节 缓冲 区 中 。read(0 方 法 返回 的 int 值 表示 有 
多 少 字 节 被 恋 到 了 字 节 缓冲 区 中 ， 如 果 返 回 -1， 表 示 读 到 了 文件 末尾 。 


如 果 需 要 通过 FileChannel 回 文件 中 写 入 数据 ， 需 要 将 数据 复制 或 者 
直接 存放 到 Byte ” Buffer 中， 然后 调用 FileChannel.write() 方 法 进行 写 操 
作 。 示 例 代 码 如 下 。 











String content = "13888888888 | 北京 市 海淀 区 | 全 球 通 |VIP 用 户 |"; 
ByteBuffer writeBuffer = ByteBuffer.allocate(128) ; 
writeBuffer.put(content.getBytes()); 

writeBuffer.flip(); 

channel.write(buf); 


es | 


使 用 完 FileChannel 之 后 ， 需 要 通过 close() 方 法 关闭 文件 句柄 ， 防 止 
出 现 句柄 泄漏 。 


可 以 通过 FileChannel 的 position(long pos) 方 法 设置 文件 的 位 置 指针 ， 
利用 该 特性 可 以 实现 文件 的 随机 读 写 。 


13.2 ”Netty 文 件 传 输 开 发 


在 实际 项 目 中 ， 文 件 传输 通常 采用 FTP 或 者 HTTP 附 件 的 方式 。 事 
实 上 通过 TCP Socket+File 的 方式 进行 文件 传输 也 有 一 定 的 应 用 场景 ， 尽 
管 不 是 主流 ， 但 是 掌握 这 种 文件 传输 方式 还 是 比较 重要 的 ， 特 别 是 针对 
两 个 跨 主 机 的 JVM 进 程 之 间 进 行 持久 化 数据 的 相互 交换 。 











下 面 我 们 一 起 来 看 看 如 何 通 过 Netty 的 NIO 类 库 进 行文 件 传输 。 在 
10.3.3 章 节 我 们 介绍 JiBx 的 时 候 ， 曾 经 开发 了 一 个 Ant 脚 本 用 于 生成 
POJO 对 象 和 XML 的 绑 定 关系 文件 binding.xml， 文 件 传输 例 程 就 选择 此 
文件 作为 待 传输 的 文件 。 





具体 场景 如 下 。 
(1) Netty 文 件 服务 器 启动 ， 绑 定 8080 作 为 内 部 监听 端口 ; 
(2) 在 CMD 控 制 台 ， 通 过 telnet 和 文件 服务 器 建立 TCP 连 接 ; 
(3) 控制 台 输入 需要 下 载 的 文件 绝对 路 径 ; 


(4) 文件 服务 器 接收 到 请 求 消 妃 后 进行 合法 性 判断 ， 如 果 文 件 存 
在 ， 则 将 文件 及 送 给 CMD 控 制 台 ; 


(5) CMD 控 制 台 打印 文件 名 和 文件 内 容 。 
BCA PAR ma SIS RE SEL. 


代码 清单 13-1 文件 服务 端 启动 类 FileServer 


o o - Oo OC! FB WO N FB 


Hm 
© 


11. 
12. 
13. 
14. 
15. 
16. 
17. 
18. 
19. 
20. 
21. 


22. 


public class FileServer { 
public void run(int port) throws Exception { 
EventLoopGroup bossGroup = new NioEventLoopGroup(); 
EventLoopGroup workerGroup = new NioEventLoopGroup(); 
try { 
ServerBootstrap b = new ServerBootstrap(); 
b.group(bossGroup, workerGroup) 
.channel(NioServerSocketChannel.class) 
.option(ChannelOption.SO_BACKLOG, 100) 
.childHandler(new ChannelInitializer<SocketChanne 
/* 


* (non-Javadoc) 


* @see 
* jo.netty.channel.Channellnitializer#initChanne 
* ,netty.channel.Channel) 
"A 
public void initChannel(SocketChannel ch) 
throws Exception { 
ch.pipeline().addLast( 


new StringEncoder(CharsetUtil.UTF 8), 


new LineBasedFrameDecoder(1024), 


23. 


24. 


new StringDecoder(CharsetUtil.UTF_8), 


new FileServerHandler()); 


} 


3): 
ChannelFuture f - b.bind(port).sync(); 


System.out.println("Start file server at port : " + pc 
f.channel().closeFuture().sync(); 

. } finally { 

// 优雅 停机 

bossGroup.shutdownGracefully(); 


workerGroup.shutdownGracefully(); 


public static void main(String[] args) throws Exceptic 
. int port = 8080; 
. if (args.length > 0) { 

try { 

port = Integer.parseInt(args[0]); 


} catch (NumberFormatException e) { 


43. e.printStackTrace(); 
44. } 

45. } 

46. new FileServer().run(port); 
47. } 

48. } 





首先 看 代码 第 22 行 ， 在 ChannelPipeline 中 添加 了 
LineBasedFrameDecoder， 前 面 第 4.3 章 节 已 经 介绍 过 ， 它 能 够 按照 回 车 
换行 人 符 对 数据 报 进行 解码 。 第 23 行 新 增 StringDecoder， 它 的 作用 是 将 数 
据 报 解码 成 为 字符 串 ， 两 个 解码 器 组 合 起 来 就 是 文本 换行 解码 器 。 第 21 
行 添加 了 StringEncoder， 它 的 作用 是 将 文件 内 容 编码 为 字符 串 ， 因 为 
binding.xml 的 内 容 是 纯 文本 的 ， 所 以 在 CMD 控 制 台 可 见 。 





继续 看 FileServerHandler 的 实现 。 


代码 清单 13-2 ”文件 服务 端 处 理 类 FileServerHandler 





1. public class FileServerHandler extends SimpleChannelInbour 
2 

3 private static final String CR = System.getProperty("- 
4 

5. i 

6 * (non-Javadoc ) 

7 * 

8 * @see 

9 * jo.netty.channel.SimpleChannelInboundHandler#messagef 


10. 
11. 
12. 
13. 
14. 
15. 
16. 
17. 
18. 
19. 
20. 
21. 
22. 
23. 
24. 
25. 
26. 
27. 
28. 
29. 
30. 
31. 
32. 
33. 
34. 
35. 
36. 


* „channel.ChannelHandlerContext, java.lang.Object) 
*/ 
public void messageReceived(ChannelHandlerContext ct) 


throws Exception { 


File file = new File(msg); 


if (file.exists()) { 


} else { 


if (!file.isFile()) { 

ctx.writeAndFlush("Not a file : " + file + CR); 

return; 

} 

ctx.write(file + " " + file.length() + CR); 

RandomAccessFile randomAccessFile = new RandomAccesst 

FileRegion region - new DefaultFileRegion( 
randomAccessFile.getChannel(), ©, randomAccessFi- 

ctx.write(region); 

ctx.writeAndFlush(CR); 

randomAccessFile.close(); 

ctx.writeAndFlush("File not found: " + file + CR); 


/* 
* (non-Javadoc) 


* 


* @see 


* jo.netty.channel.ChannelHandlerAdapter#exceptionC: 


37. * .ChannelHandlerContext, java.lang.Throwable) 


38. */ 
39. public void exceptionCaught(ChannelHandlerContext ct; 
40. throws Exception { 


41. cause.printStackTrace(); 
42. ctx.close(); 


43. ) 








第 15 一 19 行 首先 对 文件 的 合法 性 进行 校 验 ， 如 果 不 存 在 ， 构 造 异 常 
消息 返回 。 如 果 文 件 存 在 ， 使 用 RandomAccessFile 以 只 读 的 方式 打开 文 
件 ， 然 后 通过 Netty 提 供 的 DefaultFileRegion 进 行文 件 传输 ， 它 有 如 下 三 
个 参数 。 


e FileChannel: 文件 通道 ， 用 于 对 文件 进行 读 写 操作 ; 
e Position: 文件 操作 的 指针 位 置 ， 读 取 或 者 写 入 的 起 始点 ; 
e Count: 操作 的 总 字 节 数 。 


构造 完 DefaultFileRegion 之 后 ， 可 以 直接 调用 ChannelHandlerContext 
的 write 方 法 实现 文件 的 发 送 。Netty 底 层 对 文件 写 入 进行 了 封装 ， 上 层 
应 用 不 需要 关心 发 送 的 细节 。 最 后 写 入 回 车 换行 符 告知 CMD 控 制 台 : 
文件 传输 结 


13.3 ”运行 Netty 文 件 传 输 服 务 例 程 


启动 文件 服务 器 ， 打 开 CMD 控 制 台 ， 通 过 telnet 命 令 连 接 到 主机 ， 
如 图 13-1 所 示 。 





图 13-1 通过 telnet 连 接 文件 服务 器 











连接 成 功 之 后 ， 输 入 需要 传输 的 文件 路 径 : “M:\software\eclipse- 
SDK-4.2.2-win32\ ”edlipse\workspace\book\binding.xml”， 人 然后 输入 回 车 
键 ， 显 示 结 果 如 图 13-2 所 示 。 





图 13-2 ”文件 服务 器 返回 结果 





下 面 我 们 继续 输入 一 个 不 存在 的 文件 路 径 ， 运 行 结果 如 图 13-3 所 


>| 





图 13-3 ”文件 服务 器 校 验 失败 场景 


通过 以 上 两 个 用 例 的 运行 结果 可 以 看 出 ，Netty 的 文件 服务 器 功 能 
运行 正常 ， 可 以 实现 文件 的 正确 传输 。 


13.4 总结 


本 章 介 绍 了 如 何 利用 Netty 进 行文 件 传输 。 由 于 Netty 对 文件 传输 进 
行 了 封装 ， 上 层 业 务 应 用 不 需要 感知 文件 操作 的 细节 ， 由 于 Netty 提 供 
了 多 种 编 解 码 类 库 ， 通 过 组 合 可 以 灵活 地 处 理 各 种 文件 。 


事实 上 ，Netty 有 多 种 方式 可 以 实现 文件 的 传输 ， 例 程 仅仅 给 出 了 
一 种 最 为 通用 的 实现 方式 。 在 进行 大 文件 传输 的 时 候 ， 一 次 将 文件 内 容 
全 部 映射 到 内 存 中 ， 很 有 可 能 导致 内 存 洪 出 。 为 了 解雇 大 文件 传输 过 程 
中 的 内 存 溢出 ，Netty 提 供 了 ChunkedWriteHandler 来 解决 大 文件 或 者 码 
流传 输 过 程 中 可 能 发 生 的 内 存 洲 出 问题 。Netty 的 文件 传输 无 论 在 功能 
还 是 可 靠 性 方面 ， 相 比 于 传统 的 IO 类 库 或 者 其 他 一 些 第 三 方 文件 传输 
类 库 ， 都 有 独特 的 优势 。 


由 于 文件 传输 不 是 本 书 的 重点 ， 如 果 读 者 朋友 想 要 了 解 更 多 的 
Netty 传 输 的 相关 知识 ， 可 以 通过 阅读 ChunkedWriteHandler、FileRegion 
等 类 库 的 API ”DOC 和 源码 ， 在 学 习 和 实践 中 掌握 更 多 的 高 级 用 法 和 功 


ou 
HE o 


第 14 草 ”私有 协议 栈 开 友 


通信 协议 从 广义 上 区 分 ， 可 以 分 为 公有 协议 和 私有 协议 。 由 于 私有 
协议 的 灵活 性 ， 它 往往 会 在 傈 个 公司 或 者 组 织 内 部 使 用 ， 按 需 定制 ， 也 
因为 如 此 ， 升 级 起 来 会 非常 方便 ， 灵 活性 好 。 


绝 大 多 数 的 私有 协议 传输 层 都 基于 TCP/IP， 所 以 利用 Netty 的 NIO 
TCP 协 议 栈 可 以 非常 方便 地 进行 私有 协议 的 定制 和 开发 。 本 章节 通过 一 
个 私有 协议 的 设计 和 开发 ， 让 读者 能 够 熟悉 和 掌握 这 方面 的 知识 。 


本 章 主 要 内 容 包括 : 


。 私有 协议 介绍 
。 基于 Netty 的 私有 协议 栈 设计 
。 私有 协议 栈 开发 


14.1 私有 协议 介绍 


私有 协议 本 质 上 是 广 商 内 部 发 展 和 采用 的 标准 ， 除 非 授权 ， 其 他 广 
丙 一 般 无 权 使 用 该 协议 。 私 有 协议 也 称 非 标准 协议 ， 就 是 未 经 国际 或 国 
家 标准 化 组 织 采 纳 或 批准 ， 由 茶 个 企业 目 己 制订 ， 协 议 实 现 细 布 不 愿 公 
开 ， 只 在 企业 目 己 生产 的 设备 之 间 使 用 的 协议 。 私 有 协议 具有 封闭 性 、 
垄断 性 、 排 他 性 等 特点 。 如 果 网 上 大 量 存在 私有 “〔 非 标准 ) 协议 ， 现 行 
网 络 或 用 户 一 旦 使 用 了 和 它 ， 后 进入 的 广 家 设备 就 必须 跟着 使 用 这 种 非 标 
准 协议 ， 才 能 够 互 连 互通 ， 人 否则 根本 不 可 能 进入 现行 网 络 。 这 样 ， 使 用 
非 标 准 协议 的 厂 冢 束 实 现 了 垄断 市 场 的 愿望 。 

















尽管 私有 协议 具有 垄断 性 的 特征 ， 但 并 非 所 有 的 私有 协议 设计 者 的 
初 襄 就 是 为 了 垄断 。 由 于 现代 软件 系统 的 复杂 性 ， 一 个 大 型 软件 系统 往 
往 会 被 人 为 地 拆 分 成 多 个 模块 ， 为 外 随 着 移动 互联 网 的 兴起 ， 网 站 的 规 
模 也 越 来 越 大 ， 业 务 的 功能 越 来 越 多 ， 为 了 能 够 文 撑 业务 的 发 展 ， 往 往 
需要 集群 和 分 布 式 部 著 ， 这 样 ， 各 个 模块 之 间 束 要 进行 跨 节 点 通信 。 





在 传统 的 Java 应 用 中 ， 通 常 使 用 以 下 4 种 方式 进行 跨 节 点 通信 。 
(1) 通过 RMI 进 行 远程 服务 调用 ; 
(2) 通过 Java 的 Socket+Java 序 列 化 的 方式 进行 跨 节 点 调用 ; 


(3) 利用 一 些 开源 的 RPC 框 架 进 行 远程 服务 调用 ， 例 如 Facebook 
的 Thrift，Apache 的 Avro 等 ; 


(4) 利用 标准 的 公有 协议 进行 跨 节 点 服务 调用 ， 例 如 
HTTP+XMIL、RESTful+JSON 或 者 WebService。 


跨 节 点 的 远程 服务 调用 ， 除 了 链 路 层 的 物理 连接 外 ， 还 需要 对 请 求 
和 响应 消息 进行 编 解码 。 在 请 求 和 应 答 消息 本 身 以 外 ， 也 需要 携带 一 些 
其 他 控制 和 管理 类 指令 ， 例 如 链 路 建立 的 握手 请 求 和 响应 消息 、 链 路 检 
测 的 心跳 消息 等 。 当 这 些 功能 组 合 到 一 起 之 后 ， 就 会 形成 私有 协议 。 


事实 上 ， 私 有 协议 并 没有 标准 的 定义 ， 只 要 是 能 够 用 于 路 进程 、 跨 
主机 数据 交换 的 非 标 准 协 议 ， 部 可 以 称 为 私有 协议 。 通 第 情况 下 ， 正 规 
的 私有 协议 部 有 具体 的 协议 规范 文档 ， 类 似 于 《XXXX 协 议 VXX 规 
范 》， 但 是 在 实际 的 项 目 中 ， 内 部 使 用 的 私有 协议 往往 是 口头 约定 的 规 
范 ， 由 于 并 不 需要 对 外 呈现 或 者 被 外 部 调用 ， 所 以 一 般 不 会 单独 写 相 关 
的 内 部 私有 协议 规范 文档 。 


本 章 使 用 Netty 提 供 的 异步 TCP 协 议 栈 开发 一 个 私有 协议 栈 ， 该 协议 
栈 被 命名 为 Netty 协 议 栈 。 从 下 个 小 市 开始 ， 我 们 将 详细 介绍 Netty 协 议 
的 设计 和 开发 。 


14.2 ”Netty 协 议 栈 功能 设计 


Netty 协 议 栈 用 于 内 部 各 模块 之 间 的 通信 ， 它 基于 TCP/IP 协 议 栈 ， 
古 一 个 类 HTTP 协 议 的 应 用 层 协 议 栈 ， 相 比 于 传统 的 标准 协议 栈 ， 它 更 
加 轻巧 、 灵 活 和 实用 。 


14.2.1 网 络 拓扑 图 





如 图 14-1 所 示 ， 在 分 布 式 组 网 环境 下 ， 每 个 Netty 节 点 (Netty 进 
程 ) 之 间 建 立 长 连接 ， 使 用 Netty 协 议 进行 通信 。Netty 节 点 并 没有 服务 
端 和 客户 端的 区 分 ， 谁 首先 发 起 连接 ， 谁 就 作为 客户 端 ， 另 一 方 自然 就 
成 为 服务 端 。 一 个 Netty 节 点 既 可 以 作为 客户 端 连接 另外 的 Netty 节 点 ， 

也 可 以 作为 Netty 服 务 端 被 其 他 Netty 节 点 连接 ， 这 完全 取决 于 使 用 者 的 
业务 场景 和 具体 的 业务 组 网 。 


图 14-1 Netty 协 议 网 络 拓扑 示意 
14.2.2 ”协议 栈 功 能 描述 


Netty 协 议 栈 承载 了 业务 内 部 各 模块 之 间 的 消息 交互 和 服务 调用 ， 
它 的 主要 功能 如 下 。 


(1) 基于 Netty 的 NIO 通 信和 框架 ， 提 供 高 性 能 的 异步 通信 能 力 ; 


(2) 提供 消息 的 编 解 码 框架 ， 可 以 实现 POJO 的 序列 化 和 反 序 列 
化 ; 


(3) 所 供 基于 IP 地 址 的 白 名 单 接 入 认证 机 制 |; 


CA) 链 路 的 有 效 性 校 验 机 制 ; 
(5) 链 路 的 断 连 重 连 机 制 。 
14.2.3 ”通信 模型 


Netty 协 议 栈 通信 模型 如 图 14-2 所 示 。 





图 14-2 ”Netty 协 议 栈 通信 交互 图 
(1) Netty 协 议 栈 客户 端 发 送 握手 请 求 消 奶 ， 携 市 节点 I 有 D 等 有 效 里 
份 认 证 信息 ; 


(2) Netty 协 议 栈 服 务 端 对 握手 请 求 消 息 进 行 合法 性 校 验 ， 包 括 贡 
扩 ID 有 效 性 校 验 、 市 把 重复 登录 校 验 和 IP 地 址 合法 性 校 验 ， 校 验 通 过 
后 ， 返 回 登 录 成 功 的 握手 应 答 消 息 ; 





(3) 链 路 建立 成 功 之 后 ， 客 户 喘 发 送 业 务 消 息 ; 
(4) 链 路 成 功 之 后 ， 服 务 端 发 送 心跳 消 妃 ; 
(5) 链 路 建立 成 功 之 后 ， 客 户 喘 发 送 心跳 消息 ; 


(6) 链 路 建立 成 功 之 后 ， 服 务 端 发 送 业 务 消 息 ; 








CD 服务 端 退 出 时 ， 服 务 端 关闭 连接 ， 客 户 端 感知 对 方 关 闭 连 接 
后 ， 被 动 关闭 客户 端 连 接 。 

备注 : 需要 指出 的 是 ，Netty 协 议 通 信 双 方 链 路 建立 成 功 之 后 ， 双 
方 可 以 进行 全 双 工 通信 ， 无 论 客户 端 还 是 服务 端 ， 都 可 以 主动 发 送 请 求 
消息 给 对 方 ， 通 信 方 式 可 以 是 TWO _ WAY 或 者 ONE WAY。 双 方 之 间 的 


心跳 采用 Ping-Pong 机 制 ， 当 链 路 处 于 空闲 状态 时 ， 客 户 端 主动 发 送 Ping 
消息 给 服务 端 ， 服 务 端 接收 到 Ping 消 息 后 发 送 应 答 消 息 Pong 给 客户 端 ， 

如 果 客 户 端 连续 发 送 N 条 Ping 消 息 都 没有 接收 到 服务 端 返 回 的 Pong 消 

恩 ， 说 明 链 路 已 经 挂 死 或 者 对 方 处 于 异常 状态 ， 客 户 端 主动 关闭 连接 ， 
间隔 周期 T 后 发 起 重 连 操作 ， 直 到 重 连 成 功 。 





14.2.4 消息 定义 





Netty 协 议 栈 消 息 定 义 包 含 两 部 分 : 


e Ha; 
e. HEA. 





表 14-1 Netty 消 息 定义 表 (NettyMessage ) 


表 14-2 ”Netty 协 议 消 息 头 定义 〈Header) 





14.2.5 ”Netty 协 议 文 持 的 字段 类 型 





4214-3 ”Netty 协 议 支持 的 数据 类 型 
14.2.6 ”Netty 协 议 的 编 解 码 规范 
1. Netty 协 议 的 编码 


Netty 协 议 NettyMessage 的 编码 规范 如 下 。 


(1) crcCode: java.nio.ByteBuffer.putInt(int value)， 如 果 采 用 其 他 
缓冲 区 实现 ， 必 须 与 其 等 价 ; 


(2) length: java.nio.ByteBuffer.putInt(int value)， 如 果 采 用 其 他 绥 
冲 区 实现 ， 必 须 与 其 等 价 ; 


(3) sessionID: java.nio.ByteBuffer.putLong(long value)， 如 果 采 用 
其 他 缓冲 区 实现 ， 必 须 与 其 等 价 ; 


(4) type: java.nio.ByteBuffer.put(byte b)， 如 果 采 用 其 他 缓冲 区 实 
现 ， 必 须 与 其 等 价 ; 


(5) priority: java.nio.ByteBuffer.put(byte b)， 如 果 采 用 其 他 缓冲 区 
实现 ， 必 须 与 其 等 价 ; 





(6) attachment: 它 的 编码 规则 为 一 一 如 果 attachment 长 度 为 0， 表 
示 没 有 可 选 附件 ， 则 将 长 度 编码 设 为 0，java.nio.ByteBuffer.putInt(0); 
如 果 大 于 0， 说 明 有 附件 需要 编码 ， 具 体 的 编码 规则 如 下 一 一 











© 上 自 和 完 对 附件 的 个 数 进行 编码 ， 
java.nio.ByteBuffer.putInt(attachment.size()); 

e 然后 对 Key 进 行 编码 ， 先 编码 长 度 ， 再 将 它 转 换 成 byte 数 组 之 后 编 
码 内 容 ， 具 体 代 码 如 下 。 





String key = null; 


byte 


[] value = null; 


for 


(Map.Entry<String, Object 


> param : attachment.entrySet()) { 
key = param.getKey(); 
buffer .writeString(key); 
value = marshaller.writeObject(param.getValue()); 
buffer .writeBinary(value) ; 


} 
key = null; 


value = null; 





需要 说 明 的 是 ， 将 String 字 符 串 写 入 ByteBuffer 和 通过 Jboss 


Marshalling 将 Object 序列 化 为 byte 数 组 ， 此 处 没有 详细 展开 介绍 ， 后 续 
代码 开发 章节 会 给 出 具体 实现 。 





(7) body 的 编码 : 通过 JBoss Marshalling 将 其 序列 化 为 byte 数 组 ， 
然后 调用 java.nio.ByteBuffer.put(byte [] src) E A ByteBufferZZ?p X 
中 。 





由 于 整个 消 轧 的 长 上 度 必须 等 全 部 字段 都 编码 完成 之 后 才能 确认 ， 所 
以 最 后 需要 更 新 消息 头 中 的 length 字 段 ， 将 其 重新 写 入 ByteBuffer 中 。 


2. Netty 协 议 的 解码 


相对 于 NettyMessage 的 编码 ， 仍 旧 以 java.nio.ByteBuffer 为 例 ， 给 
Netty 协 议 的 解码 规范 。 


(1) crcCode: 通过 java.nio.ByteBuffer.getInt() 获 取 校 验 码 字段 ， 其 
他 缓冲 区 需要 与 其 等 价 ; 


(2) length: 通过 java.nio.ByteBuffer.getInt() 获 取 Netty 消 息 的 长 
度 ， 其 他 绥 冲 区 需要 与 其 等 价 ; 


(3) sessionID: 通过 java.nio.ByteBuffer.getLong() 获 取 会 话 ID， 其 
他 缓冲 区 需要 与 其 等 价 ; 


(4) type: 通过 java.nio.ByteBuffer.getO 获 取消 息 类 型 ， 其 他 绥 冲 


区 需要 与 其 等 价 ; 


(5) priority: 通过 java.nio.ByteBuffer.getO0 获 取消 息 优 先 级 ， 其 他 
缓冲 区 需要 与 其 等 价 ; 


(6) attachment: 它 的 解码 规则 为 首先 创建 一 个 新 的 
attachment 对 象 ， 调 用 java.nio.ByteBuffer.getInt() 获 取 附 件 的 长 度 ， 如 果 
AO, UHR AAS, EHEN RENNER: 如 果 非 空 ， 则 根据 长 
度 通 过 for 循 环 进行 解码 。 








String key = null; 


Object 


value = null; 


for 


(int 


i = 0; i < size; i++) { 
key = buffer.readString(); 
value = unmarshaller.readObject(buffer.readBinary()); 


this. 


attachment.put(key, value); 


} 
key = null; 


value = null; 


后 续 的 代码 开发 章 市 会 给 出 附件 解码 的 其 体 实现 ， 此 处 不 再 详细 展 
开 ， 仅 仅 给 出 解码 的 规则 。 


(7) body: 通过 JBoss 的 marshaller 对 其 进行 解码 。 
14.2.7” 链 路 的 建立 


Netty 协 议 栈 支 持 服 务 端 和 客户 端 ， 对 于 使 用 Netty 协 议 栈 的 应 用 程 
序 而 言 ， 不 需要 刻意 区 分 到 放 是 客户 端 还 是 服务 端 ， 在 分 布 式 组 网 环境 
中 ， 一 个 布点 可 能 既是 服务 端 也 是 客户 端 ， 这 个 依据 具体 的 用 户 场景 
定 。 





Netty 协 议 栈 对 客户 端的 说 明 如 下 : 如 果 A 节 点 需要 调用 B 节 点 的 服 
务 ， 但 是 A 和 B 之 间 还 没有 建立 物理 链 路 ， 则 由 调用 方 主 动 发 起 连接 ， 
此 时 ， 调 用 方 为 客户 端 ， 被 调用 方 为 服务 器。 


考 夸 到 安全 ， 链 路 建立 需要 通过 基于 耳 地 址 或 者 号 段 的 黑白 名 单 安 
全 认证 机 制 ， 作 为 样 例 ， 本 协议 使 用 基于 IP 地 址 的 安全 认证 ， 如 果 有 多 
个 IP， 通 过 逗号 进行 分 割 。 在 实际 商用 项 目 中 ， 安 全 认证 机 制 会 更 加 严 
格 ， 例 如 通过 密 钥 对 用 户 名 和 密码 进行 安全 认证 。 











客户 端 与 服务 站 链 路 建立 成 功 之 后 ， 由 客户 端 发 送 握手 请 求 消息 ， 
握手 请 求 消息 的 定义 如 下 。 





(1) 消息 头 的 type 字 段 值 为 3; 
(2) 可 选 附件 为 个 数 为 0 

(3) 消息 体 为 空 ; 

(4) 握手 消息 的 长 度 为 22 个 字 市 。 


服务 端 接 收 到 客户 端的 握手 请 求 消息 之 后 ， 如 果 IP 校 验 通 过 ， 返 回 
握手 成 功 应 答 消 息 给 客户 端 ， 应 用 层 链 路 建立 成 功 。 握 手 应 答 消 息 定义 
如 下 。 





(1) 消息 头 的 type 字 段 值 为 4; 

(2) 可 选 附件 个 数 为 0; 

(3) 消息 体 为 byte 类 型 的 结果 ，0: 认证 成 功 ，-1: 认证 失败 。 
链 路 建立 成 功 之 后 ， 客 户 端 和 服务 闪 束 可 以 互相 发 送 业务 消息 了 。 


14.2.8” 链 路 的 关闭 








由 于 采用 长 连接 通信 ， 在 正常 的 业务 运行 期 间 ， 双 方 通 过 心跳 和 业 





务 消息 维持 链 路 ， 任 何 一 方 都 不 需要 主动 关闭 连接 。 


但 是 ， 在 以 下 情况 下 ， 和 客户 端 和 服务 端 震 要 关闭 连接 。 








D 当 对 方 宕 机 或 者 重启 时 ， 会 主动 关闭 链 路 ， 男 一 方 读 取 到 操 
作 系 统 的 通知 信号 ， 得 知 对 方 REST 链 路 ， 需 要 关闭 连接 ， 释 放 自 身 的 
句柄 等 资源 。 由 于 采用 TCP 全 双 工 通信 ， 通 信 双 方 都 需要 关闭 连接 ， 释 
放 资 源 ; 





(20 消息 读 写 过 程 中 ， 发 生 了 LO 异常 ， 需 要 主动 天 闭 连 接 ; 





(3) 心跳 消 奶 读 写 过 程 中 发 生 了 LO 和 寞 常 ， 需 要 主动 天 闭 连接 ; 





(4) 心跳 超时 ， 需 要 主动 天 闭 连接 ; 








(5) 发生 编 码 异 稼 等 不 可 恢复 错误 时 ， 需 要 主动 关闭 连接 。 
14.2.9 可靠 性 设计 


Netty 协 议 栈 可 能 会 运行 在 非常 恶劣 的 网 络 环境 中 ， 网 络 超时 、 闪 
断 、 对 方 进程 僵 死 或 者 处 理 缓慢 等 情况 都 有 可 能 发 生 。 为 了 保证 在 这 些 
极端 异常 场景 下 Netty 协 议 栈 仍 能 够 正常 工作 或 者 自动 恢复 ， 需 要 对 它 
的 可 靠 性 进行 统一 规划 和 设计 。 











1. 心跳 机 制 


在 凑 晨 等 业务 低谷 期 时 段 ， 如 果 发 生 网 络 内 断 、 连 接 被 Hang 住 等 网 
络 问题 时 ， 由 于 没有 业务 消息 ， 应 用 进程 很 难 发 现 。 到 了 白天 业务 高 峰 
期 时 ， 会 发 生 大 量 的 网 络 通信 失败 ， 严 重 的 会 导致 一 段 时 间 进 程 内 无 法 
处 理 业 务 消息 。 为 了 解决 这 个 问题 ， 在 网 络 空 时 采用 心跳 机 制 来 检测 


链 路 的 互通 性 ， 一 旦 发 现 网 络 故障 ， 立 即 关 闭 链 路 ， 主 动 重 连 。 
具体 的 设计 思路 如 下 。 


(1) 当 网 络 处 于 空闲 状态 持续 时 间 达 到 T《〈 连 续 周 期 T 没 有 读 写 消 
BO) 时 ， 客 户 端 主动 发 送 Ping 心 跳 消息 给 服务 端 ; 


(2) 如 果 在 下 一 个 周期 T 到 来 时 客户 端 没 有 收 到 对 方 发 送 的 Pong 心 
跳 应 答 消 息 或 者 恋 取 到 服务 端 发 送 的 其 他 业务 消息 ， 则 心跳 失败 计数 器 
加 1; 


(3) 每 当 客户 端 接收 到 服务 的 业务 消息 或 者 pong 应 答 消息 ， 将 心 
跳 失败 计数 器 清 零 ， 当 连续 N 次 没有 接收 到 服务 端的 Pong 消 息 或 者 业务 
消息 ， 则 关闭 链 路 ， 间 隔 INTERVAL 时 间 后 发 起 重 连 操作 ; 


(4) 服务 端 网 络 空 帮 状态 持续 时 间 达 到 T 后 ， 服 务 端 将 心跳 失败 计 
Basil; 只 要 接收 到 客户 问 发 送 的 Ping 消 息 或 者 其 他 业务 消 轧 ， 计 数 


An; 


(5) 服务 端 连续 N 次 没有 接收 到 客户 端的 Ping 消 妃 或 者 其 他 业务 消 
恩 ， 则 关闭 链 路 ， 释 放 资 源 ， 等 竺 客户 端 重 连 。 





通过 Ping-Pong 双 问心 跳 机 制 ， 可 以 保证 无 论 通 信 哪 一 方 出 现 网 络 
故障 ， 都 能 被 及 时 地 检测 出 来 。 为 了 防止 由 于 对 方 短 时 间 内 繁忙 没有 及 
时 返回 应 管 造成 的 误 判 ， 只 有 连续 N 次 心跳 检测 都 失败 才 认 定 链 路 已 经 
损害 ， 需 要 关闭 链 路 并 重建 链 路 。 





当 读 或 者 写 心跳 消 奶 发 生 L/O 异 常 的 时 候 ， 说 明 链 路 已 经 中 断 ， 此 
时 需要 立即 关闭 链 路 ， 如 果 是 客户 端 ， 需 要 重新 发 起 连接 。 如 果 是 服务 
端 ， 需 要 清空 缓存 的 半 包 信息 ， 等 待 客户 端 重 连 。 





2. 重 连 机 制 | 


如 果 链 路 中 断 ， 等 待 INTERVAL 时 间 后 ， 由 客户 端 发 起 重 连 操 作 ， 
如 果 重 连 失 败 ， 间 隔 周期 INTERVAL 后 再 次 发 起 重 连 ， 直 到 重 连 成 功 。 


为 了 保证 服务 端 能 够 有 充足 的 时 间 释 放 句 柄 资源 ， 在 首次 断 连 时 客 
户 端 需要 等 待 INTERVAL 时 间 之 后 再 发 起 重 连 ， 而 不 是 失败 后 就 立即 重 
Es 





为 了 保证 句柄 资源 能 够 及 时 释放 ， 无 论 什 么 场景 下 的 重 连 失败 ， 客 
户 端 都 必须 保证 目 身 的 资源 被 及 时 释放 ， 包 括 但 不 限于 SocketChannel、 


Socket 等 。 








重 连 失败 后 ， 需 要 打印 异常 堆栈 信息 ， 方 便 后 续 的 问题 定位 。 





3. 重复 登录 保护 





当 客 户 端 握手 成 功 之 后 ， 在 链 路 处 于 正常 状态 下 ， 不 允许 客户 端 重 
复 登录 ， 以 防止 客户 端 在 异常 状态 下 反复 重 连 导致 句柄 资源 被 耗 尽 。 





服务 端 接 收 到 客户 端的 握手 请 求 消息 之 后 ， 首 先 对 IP 地 址 进行 合法 
性 检验 ， 如 果 校 验 成 功 ， 在 缓存 的 地 址 表 中 查看 客户 端 是 否 已 经 登录 ， 
如 果 已 经 登录 ， 则 拒绝 重复 登录 ， 返 回 错误 码 -1， 同 时 关闭 TCP 链 路 ， 
并 在 服务 端的 日 志 中 打印 握手 失败 的 原因 。 

















客户 端 接收 到 握手 失败 的 应 答 消 息 之 后 ， 关 闭 客 户 端的 TCP 连 接 ， 
等 待 INTERVAL 时 间 之 后 ， 再 次 发 起 TCP 连 接 ， 直 到 认证 成 功 。 


为 了 防止 由 服务 器 和 客户 端 对 链 路 状态 理解 不 一 致 导致 的 客户 问 无 
法 握手 成 功 的 问题 ， 当 服务 疹 连 续 N 次 心跳 超时 之 后 需要 主动 关闭 链 
路 ， 清 空 该 客户 端的 地 址 缓存 信息 ， 以 保证 后 续 该 客户 端 可 以 重 连 成 
功 ， 防 止 被 重复 登录 保护 机 制 拒 绝 挥 。 











4. 消息 缓存 重 发 


无 论 客户 端 还 是 服务 端 ， 当 发 生 链 路 中 断 之 后 ， 在 链 路 恢复 之 前 ， 
绥 存 在 消息 队列 中 符 发 送 的 消息 不 能 丢失 ， 等 链 路 恢复 之 后 ， 重 新 发 送 
这 些 消 息 ， 保 证 链 路 中 断 期 间 消 息 不 丢失 。 


考虑 到 内 存 溢出 的 风险 ， 建 议 消息 缓存 队列 设置 上 限 ， 当 达到 上 限 
之 后 ， 应 该 拒绝 继续 同 该 队列 添加 新 的 消 妃 。 





14.2.10 ”安全 性 设计 


为 了 保证 整个 集群 环境 的 安全 ， 内 部 长 连接 采用 基于 IP 地 址 的 安全 
认证 机 制 ， 服 务 端 对 握手 请 求 消息 的 耳 地 址 进行 合法 性 校 验 : 如 果 在 日 
名 单 之 内 ， 则 校 验 通 过 ;人 否则， 拒绝 对 方 连接 。 





如 果 将 Netty 协 议 栈 放 到 公 网 中 使 用 ， 需 要 采用 更 加 严格 的 安全 认 
证 机 制 ， 例 如 基于 密 钥 和 AES 加 密 的 用 户 名 + 密码 认证 机 制 ， 也 可 以 采 
用 SSL/TSL 安 全 传输 。 


作为 示例 程 计 ，Netty 协 议 栈 采用 最 简单 的 基于 IP 地 址 的 白 名 单 安 全 
认证 机 制 。 


14.2.11 可 扩展 性 设计 


Netty 协 议 需 要 具备 一 定 的 扩展 能 力 ， 业 务 可 以 在 消息 头 中 目 定义 
业务 域 字段 ， 例 如 消息 流水 号 、 业 务 自 定 义 消息 头等 。 通 过 Netty 消 息 
头 中 的 可 选 附件 attachment 字 段 ， 业 务 可 以 方便 地 进行 目 定 义 扩展 。 


Netty 协 议 栈 架 构 需 要 具备 一 定 的 扩展 能 力 ， 例 如 统一 的 消息 拦 
截 、 接 口 日 志 、 安 全 、 加 解密 等 可 以 被 方便 地 添加 和 删除 ， 不 需要 修改 
之 前 的 逻辑 代码 ， 类 似 Servlet 的 Filter ”Chain 和 AOP， 但 考虑 到 性 能 因 
素 ， 不 推荐 通过 AOP 来 实现 功能 的 扩展 。 





14.3 Nety NRF R 
14.3.1 数据 结构 定义 


首先 ， 对 Netty 协 议 栈 使 用 到 的 数据 结构 进行 定义 ，Netty 消 息 定 义 
如 下 。 


代码 清单 14-1 NettyMessage 类 定义 





1. public final class NettyMessage { 

2 private Header header; // 消 息 头 

3 private Object body;// 消 息 体 

4 

5. a 

6 * @return the header 

7 af 

8 public final Header getHeader() { 
9. return header; 

10. } 

11. 

12. 

13. * @param header 

14. ^ the header to set 
15. */ 

16. public final void setHeader (Header header) { 


17. this.header = header; 


18. 
19. 
20. 
21. 
22. 
pd, 
24. 
25. 
26. 
27. 
28. 
29. 
30. 
31. 
32, 
33. 
34. 
35. 
36. 
37. 
38. 
39. 
49. 
41. 
42. 
43. 
44. 


/** 
* @return the body 
*/ 

public final Object getBody() { 


return body; 


3 


/** 
* (param body 
* the body to set 
*/ 
public final void setBody(Object body) { 
this.body = body; 


3 


/* 
* (non-Javadoc) 
* @see java.lang.Object#toString() 
A 

QOverride 

public String toString() (1 


return "NettyMessage [header=" + header + "]"; 


j 


代码 清单 14-2 ”消息 头 Header 类 定义 


工 
2 
3 
4 
5. 
6 
7 
8 
9 


10. 
11. 
12. 
13. 
14. 
15. 
16. 
17. 
18. 
19. 
20. 
21. 
22. 
23. 


public final class Header ( 


private Map<String, Object» attachment 


/ 


return crcCode; 


/ 


this.crcCode 


j 


private 
private 
private 
private 


private 


** 


int crcCode = Oxabef0101; 
int length;// 消息 长 度 


long sessionID;// 会 话 ID 


byte type;// 消息 类 型 


byte priority;// 消息 优先 级 


* @return the crcCode 


*/ 


public final int getCrcCode() { 


} 


** 


* (param crcCode 


* 


*/ 


the crcCode to set 








new HashMap<Si 


public final void setCrcCode(int crcCode) ( 


crcCode; 


24. 
25. 
26. 
2T. 
28. 
29. 
30. 
31. 
32. 
33. 
34. 
35. 
36. 
a7; 
38. 
39. 
49. 
41. 
42. 
43. 
44. 
45. 
46. 
47. 
48. 
49. 
50. 


/** 
* @return the length 
*/ 
public final int getLength() { 


return length; 


j 


/** 
* @param length 
* the length to set 
*/ 
public final void setLength(int length) { 
this.length = length; 
} 


/** 
* @return the sessionID 
*/ 
public final long getSessionID() { 


return sessionID; 


} 


y ** 
* @param sessionID 
* the sessionID to set 
es 


public final void setSessionID(long sessionID) { 


51. 
52. 
53. 
54. 
55. 
56. 
ST. 
59. 
59. 
60. 
61. 
62. 
63. 
64. 
65. 
66. 
67. 
68. 
69. 
70. 
71. 
72. 
73. 
74. 
75. 
76. 
77. 


this.sessionID = sessionID; 


j 


/** 
* @return the type 
a7 
public final byte getType() { 


return type; 


} 


/** 
* (param type 
s the type to set 
A 
public final void setType(byte type) ( 
this.type - type; 
} 


/** 
* @return the priority 
v" 
public final byte getPriority() { 


return priority; 


3 


fe 


* @param priority 


78. 
79. 
80. 
81. 
82. 
83. 
84. 
85. 
86. 
87. 
88. 
89. 
90. 
91. 
92. 
93. 
94. 
95. 
96. 
97. 
98. 
99. 


100. 
101. 
102. 
103. 
104. 


? the priority to set 

Ay 

public final void setPriority(byte priority) { 
this.priority = priority; 


} 


/** 
* @return the attachment 
*/ 
public final Map<String, Object> getAttachment() { 


return attachment; 


3 


/** 
* @param attachment 
x the attachment to set 
*/ 
public final void setAttachment(Map<String, Object> al 


this.attachment = attachment; 


} 


/* 
* (non-Javadoc) 


* 


* @see java.lang.Object#toString() 
*/ 


@Override 


105. public String toString() { 


106. return "Header [crcCode=" + crcCode + ", length=" + le 
107. + ", sessionID-" + sessionID + ", type=" + type + 
108. + priority + ", attachment=" + attachment + "]"; 
109. } 

110. } 





由 于 心跳 消息 、 握 手 请 求 和 握手 应 答 消息 都 可 以 统一 由 
NettyMessage 承 载 ， 所 以 不 需要 为 这 几 类 控制 消息 做 单独 的 数据 结构 定 
义 。 


14.3.2 ”消息 编 解 码 


分 别 定 义 NettyMessageDecoder 和 NettyMessageEncoder 用 于 
NettyMessage 消 息 的 编 解 码 ， 和 它们 的 县 体 实 现 如 下 。 


代码 清单 14-3 ”Netty 消 息 编 码 类 : NettyMessageEncoder 





. public final class NettyMessageEncoder extends 


MessageToMessageEncoder<NettyMessage> { 
MarshallingEncoder marshallingEncoder ; 


public NettyMessageEncoder() throws IOException { 


this.marshallingEncoder = new MarshallingEncoder(); 


1 
2 
3 
4 
5. 
6 
7 
8 } 
9 


10. 
11. 
12. 
13. 
14. 
15. 
16. 
17. 
18. 
19. 
20. 
21. 
22. 
23. 
24. 
25. 
26. 
27. 
28. 
29. 
30. 
31. 
32. 
33. 
34. 
35. 
36. 


@Override 
protected void encode(ChannelHandlerContext ctx, Netty! 


List<Object> out) throws Exception { 


if (msg == null || msg.getHeader() == null) 
throw new Exception("The encode message is null"); 
ByteBuf sendBuf = Unpooled.buffer(); 
sendBuf .writeInt((msg.getHeader().getCrcCode())); 
sendBuf .writeInt((msg.getHeader().getLength())); 
sendBuf .writeLong((msg.getHeader().getSessionID())); 
sendBuf .writeByte((msg.getHeader().getType())); 
sendBuf .writeByte((msg.getHeader().getPriority())); 
sendBuf .writeInt((msg.getHeader().getAttachment().size()). 
String key - null; 
byte[] keyArray = null; 
Object value - null; 
for (Map.Entry«String, Object» param : msg.getHeader().ge! 
.entrySet()) { 
key = param.getKey(); 
keyArray = key.getBytes("UTF-8"); 
sendBuf .writeInt(keyArray.length); 
sendBuf .writeBytes(keyArray); 
value - param.getValue(); 
marshallingEncoder.encode(value, sendBuf); 
} 
key = null; 
keyArray = null; 


37. value = null; 


38. if (msg.getBody() != null) { 


39. marshallingEncoder.encode(msg.getBody(), sendBuf); 
40. ) else 

41. sendBuf .writeInt(0); 

42. sendBuf.setInt(4, sendBuf.readableBytes()); 

43. } 

44. } 








代码 清单 14-4 Netty 消 息 编 码 工 具 类 : MarshallingEncoder 





1. public class MarshallingEncoder { 

2 private static final byte[] LENGTH_PLACEHOLDER = new b\ 
3 Marshaller marshaller; 

4 

5; public MarshallingEncoder() throws IOException { 

6 marshaller = MarshallingCodecFactory.buildMarshalling(); 
7 } 

8 

9 protected void encode(Object msg, ByteBuf out) throws 上 
10. try { 

11. int lengthPos = out.writerIndex(); 

12. out.writeBytes(LENGTH_PLACEHOLDER); 

13. ChannelBufferByteOutput output = new ChannelBufferByte 
14. marshaller.start(output); 


15. marshaller.writeObject(msg); 


16. marshaller.finish(); 
17. out.setInt(lengthPos, out.writerIndex() - lengthPos - 
18. } finally { 


19. marshaller.close(); 
20. } 

21. } 

22. } 





代码 清单 14-5 Netty) HAI: NettyMessageDecoder 





1. public class NettyMessageDecoder extends LengthFieldBasedFt 
2. 

3 MarshallingDecoder marshallingDecoder ; 

4 

5; public NettyMessageDecoder(int maxFrameLength, int lengi 
6 int lengthFieldLength) throws IOException { 

7. Super(maxFrameLength, lengthFieldOffset, lengthFieldLengtl 
8. marshallingDecoder = new MarshallingDecoder(); 

9 + 

10. 

11. @Override 

12. protected Object decode(ChannelHandlerContext ctx, Byte 
13. throws Exception { 


14. ByteBuf frame = (ByteBuf) super.decode(ctx, in); 
15. if (frame == null) { 


16. return null; 


. NettyMessage message = new NettyMessage(); 
. Header header = new Header(); 

. header.setCrcCode(in.readInt()); 

. header.setLength(in.readInt()); 

. header.setSessionID(in.readLong()); 

. header.setType(in.readByte()); 


. header.setPriority(in.readByte()); 


. int size = in.readInt(); 


. if (size > 0) { 


Map<String, Object> attch = new HashMap<String, Object: 
int keySize = 0; 
byte[] keyArray = null; 
String key = null; 
for (int i = 0; i < size; i++) { 
keySize = in.readInt(); 
keyArray = new byte[keySize]; 
in.readBytes(keyArray); 

key = new String(keyArray, "UTF-8"); 
attch.put(key, marshallingDecoder.decode(in)); 
} 
keyArray = null; 
key = null; 


header.setAttachment (attch); 


44. 
45. 
46. 
47. 
48. 
49. 
50. 


if (in.readableBytes() > 4) { 
message.setBody(marshallingDecoder.decode(in)); 

} 

message.setHeader (header); 

return message; 


3 





fex 341] HH EI f Nettyf] LengthFieldBasedFrameDecoderff- fi 23 , 
tX REB SUBITCPA BN AE A, Hon SEES HH I SARS BIA Bx d 
TE ECRIRE E FH Er Pr AWS, Nettysli e HIER E] Ab 
理 。 对 于 业务 解码 器 来 说 ， 调 用 父 类 LengthFieldBased FrameDecoder 的 
解码 方法 后 ， 返 回 的 就 是 整 包 消息 或 者 为 裤 ， 如 有 果 为 空 说 明 是 个 半 包 消 
妃 ， 直 接 返 回 继续 由 IO 线程 恋 取 后 续 的 码 沪 ， 代 码 如 图 14-3 所 示 。 














图 14-3” 半 包 解 码 代 码 


代码 清单 14-6 ”Netty 消 息 解 码 工 具 类 : MarshallingDecoder 





d 
2. 
3 
4. 
5 
6 
7 
8 


public class MarshallingDecoder { 


private final Unmarshaller unmarshaller; 


[Ss 
* Creates a new decoder whose maximum object size is - 
* If the size of the received object is greater than . 


* a {@link StreamCorruptedException) will be raised. 


* 


9. * @throws IOException 


10. i 
11. */ 
12. public MarshallingDecoder() throws IOException { 


13. unmarshaller = MarshallingCodecFactory.buildUnMarshalling! 


14. } 
15. 
16. protected Object decode(ByteBuf in) throws Exception . 


17. int objectSize = in.readInt(); 
18. ByteBuf buf = in.slice(in.readerIndex(), objectSize); 


19. ByteInput input = new ChannelBufferByteInput (buf); 


20. try { 

21. unmarshaller.start(input); 

22. Object obj = unmarshaller.readObject(); 

23. unmarshaller.finish(); 

24. in.readerIndex(in.readerIndex() + objectSize); 
25. return obj; 


26. } finally { 


27. unmarshaller.close(); 
28. } 

29. } 

30. } 





消息 的 编 解 码 类 按照 14.2.6 章 节 的 消息 编 解 码 模块 设计 实现 即 可 ， 
如 果 读 者 对 二 进 制 编 解 码 比 较 熟 悉 ， 结 合 第 9 章 对 JBoss Marshall 序 列 化 
框架 的 介绍 ， 相 信 可 以 比较 轻松 地 读 懂 本 章节 的 代码 。 如 果 对 本 章节 的 


代码 阅读 起 来 比较 吃力 ， 建 议 补 充 下 JDK 的 ByteBuffer 和 Jboss Marshall 
框架 的 相关 知识 ， 然 后 再 学 习 本 章 。 





14.3.3 ”握手 和 安全 认证 


握手 的 发 起 是 在 客户 端 和 服务 端 TCP 链 路 建立 成 功 通 道 激活 时 ， 握 
手 消 恩 的 接 入 和 安全 认证 在 服务 端 处 理 。 下 耐看 下 其 体 实 现 。 


首先 开发 一 个 握手 认证 的 客户 端 ChannelHandler， 用 于 在 通道 激活 
时 发 起 握手 请 求 ， 有 具体 代码 实现 如 下 。 


代码 清单 14-7 LoginAuthReqHandler 





. public class LoginAuthReqHandler extends ChannelHandlerAda| 


fre 


* Calls {@link ChannelHandlerContext#fireChannelActive 


* 


1 
2 
3 
4 
5. * next {@link ChannelHandler) in the {@link ChannelPij 
6 
7 * Sub-classes may override this method to change beha 
8 */ 

9 @Override 

10. public void channelActive(ChannelHandlerContext ct; 


11. ctx.writeAndFlush(buildLoginReq()); 


12: } 
13. 
14. i= 


15. * Calls {@link ChannelHandlerContext#fireChannelRead (( 


16. * the next {@link ChannelHandler} in the {@link Channe 


17. * 

18. * Sub-classes may override this method to change beha 
19. ty 

20. @Override 

21. public void channelRead(ChannelHandlerContext ctx, Obje 
22. throws Exception { 


23. NettyMessage message = (NettyMessage) msg; 
24. 

25. // 如 果 是 握手 应 答 消息 ， 需 要 判断 是 否认 证 成 功 

26. if (message.getHeader() != null 

















27. && message.getHeader().getType() == MessageType.LOGIN_F 
28. .value()) { 

29. byte loginResult = (byte) message.getBody(); 
30. if (loginResult != (byte) 0) { 

31. // 握手 失败 ， 关 闭 连接 

32. ctx.close(); 

33. } else { 

34. System.out.println("Login is ok : " + message); 
35. ctx.fireChannelRead(msg); 

36. } 

37. } else 

38. ctx.fireChannelRead(msg); 

39. } 

40. 

41. private NettyMessage buildLoginReq() { 


42. NettyMessage message = new NettyMessage(); 


43. Header header = new Header(); 
44. header.setType(MessageType.LOGIN_REQ.value()); 
45. message.setHeader(header); 


46. return message; 


47. } 

48. 

49. public void exceptionCaught(ChannelHandlerContext ctx, 
50. throws Exception { 


51. ctx. fireExceptionCaught (cause); 
52, } 
53. } 











第 10 一 12 行 ， 当 客户 端 跟 服务 端 TCP 三 次 握手 成 功 之 后 ， 由 客户 端 
构造 握手 请 求 消 轧 发送 给 服务 器 ， 由 于 采用 卫 日 名 单 认证 机 制 ， 因 此 ， 
不 需要 携带 消 轧 体 ， 消 恩 体 为 空 ， 消 息 类 型 为 3: 握手 请 求 消息 。 握 手 
请 求 发 送 之 后 ， 按 照 协议 规范 ， 服 务 端 需要 返回 握手 应 答 消 息 。 











第 21 一 39 行 对 握手 应 答 消 息 进行 处 理 ， 首 先 判断 消息 是 否 是 握手 应 
答 消 息 ， 如 果 不 是 ， 直 接 透 传 给 后 面 的 ChannelHandler 进 行 处 理 ， 如 果 
是 握手 应 答 消 息 ， 则 对 应 答 结果 进行 判断 ， 如 果 非 0， 说 明 认 证 失败 ， 
关闭 链 路 ， 重 新 发 起 连接 。 





接 独 看 服务 端的 握手 接 入 和 安全 认证 代码 。 


代码 清单 14-8 LoginAuthRespHandler 





1. public class LoginAuthRespHandler extends ChannelHandlerAd: 


o oo - Oo OC! 上 上 wm N 


BR B Hd 
N BE © 


13. 
14. 
15. 
16. 
17. 
18. 
19. 
20. 
21. 
22. 
23. 
24. 
25. 
26. 
27. 
28. 


// 如 果 是 握手 请 求 消 轧 ， 处 理 


if (message.getHeader() != null 


private Map<String, Boolean> nodeCheck = new Concurrentt 


private String[] whitekList = { "127.0.0.1", "192.168.1 


/** 
* Calls {@link ChannelHandlerContext#fireChannelRead (Ol 
* the next {@link ChannelHandler} in the {@link Channe- 
* Sub-classes may override this method to change behav: 

eras 
QOverride 
public void channelRead(ChannelHandlerContext ctx, Obje 


throws Exception { 


NettyMessage message = (NettyMessage) msg; 

















其 他 消息 透 传 











&& message.getHeader().getType() == MessageType. LOGIN. 
.value()) { 

String nodeIndex = ctx.channel().remoteAddress().toStı 

NettyMessage loginResp = null; 

// 重复 登录 ， 拒 绝 


if (nodeCheck.containsKey(nodeIndex)) { 








loginResp = buildResponse((byte) -1); 

} else { 

InetSocketAddress address = (InetSocketAddress) ctx.ct 
.remoteAddress(); 


String ip = address.getAddress().getHostAddress(); 


29. boolean isOK = false; 


30. for (String WIP : whitekList) { 

31. if (WIP.equals(ip)) { 

32. isOK = true; 

33. break; 

34. } 

35. } 

36. loginResp = isOK ? buildResponse((byte) 0) 
37. : buildResponse((byte) -1); 

38. if (isOK) 

39. nodeCheck.put(nodeIndex, true); 

40. } 

41. System.out.println("The login response is : " + logint 
42. + " body [" + loginResp.getBody() + "]"); 
43. ctx.writeAndFlush(loginResp); 


44. } else { 


45. ctx.fireChannelRead(msg); 

46. ) 

47. } 

48. 

49. private NettyMessage buildResponse(byte result) { 


50. NettyMessage message = new NettyMessage(); 

51. Header header = new Header(); 

52. header.setType(MessageType.LOGIN_RESP.value()); 
53. message.setHeader(header); 

54. message.setBody(result); 


55. return message; 


57. 
58. public void exceptionCaught(ChannelHandlerContext ctx, 
59. throws Exception { 


60. nodeCheck.remove(ctx.channel().remoteAddress().toString(). 
61. ctx.close(); 
62. ctx.fireExceptionCaught (cause); 


63. i 














982. TRIE T ERE FKA APEA AA, XEXHT 
提升 握手 的 可 靠 性 。 第 17 一 47 行 用 于 接 入 认证 ， 首 移 根 据 客户 端的 源 地 
址 〈/127.0.0.1:12088) 进行 重复 登录 判断 ， 如 果 客 户 端 已 经 登录 成 功 ， 
拒绝 重复 登录 ， 以 防止 由 于 客户 端 重复 登录 导致 的 句柄 油 漏 。 随 后 通过 
ChannelHandlerContext 的 Channel 接 口 获 取 客 户 端的 InetSocketAddress 地 
址 ， 从 中 取得 发 送 方 的 源 地 址 信息 ， 通 过 源 地 址 进行 白 名 单 校 验 ， 校 验 
通过 握手 成 功 ， 否 则 握手 失败 。 最 后 通过 buildResponse 构 造 握 手 应 答 消 
AR [pl Z5 ee P! Un 











当 发 生 和 异常 关闭 链 路 的 时 候 ， 需 要 将 客户 并 的 信息 从 登录 注册 表 中 
去 注册 ， 以 保证 后 续 客 户 端 可 以 重 连 成 功 。 


14.3.4 心跳 检测 机 制 
握手 成 功 之 后 ， 由 客户 端 主动 发 送 心跳 消息 ， 服 务 端 接收 到 心跳 消 


恩 之 后 ， 返 回 心 跳 应 答 消 息 。 由 于 心跳 消息 的 目的 是 为 了 检测 链 路 的 可 
用 性 ， 因 此 不 需要 携带 消息 体 。 








客户 端 发 送 心跳 请 求 消 轧 的 代码 如 下 。 


代码 清单 14-9 HeartBeatReqHandler 











1. public class HeartBeatReqHandler extends ChannelHandlerAday 
2 private volatile ScheduledFuture<?> heartBeat; 

3 

4 @Override 

5. public void channelRead(ChannelHandlerContext ctx, Obje 
6 throws Exception { 

7 NettyMessage message = (NettyMessage) msg; 

8. // 握手 成 功 ， 主 动 发 送 心跳 消息 

9. if (message.getHeader() != null 

10. && message.getHeader().getType() == MessageType.LOGI! 
11. .value()) { 

12. heartBeat - ctx.executor().scheduleAtFixedRate( 

13. new HeartBeatReqHandler.HeartBeatTask(ctx), 0, 5( 
14. TimeUnit.MILLISECONDS); 


15. } else if (message.getHeader() != null 


16. && message.getHeader().getType() == MessageType.HEAR™ 
17. .value()) { 

18. System.out 

19. .println("Client receive server heart beat messat 
20. * message); 

21. } else 

22. ctx.fireChannelRead(msg); 


23, } 


24. 
25. 
26. 
2T 
28. 
29. 
30. 
31. 
32. 
33. 
34. 
35. 
36. 
37; 
38. 
39. 
49. 
41. 
42. 
43. 
44. 
45. 
46. 
47. 
48. 
49. 
50. 


private class HeartBeatTask implements Runnable { 


private final ChannelHandlerContext ctx; 


public HeartBeatTask(final ChannelHandlerContext ctx) { 


this.ctx = ctx; 


@Override 
public void run() { 
NettyMessage heatBeat = buildHeatBeat(); 
System.out 
.println("Client send heart beat messsage to sen 
* heatBeat); 


ctx.writeAndFlush(heatBeat); 


private NettyMessage buildHeatBeat() { 
NettyMessage message - new NettyMessage(); 
Header header - new Header(); 
header.setType(MessageType.HEARTBEAT REQ.value()); 
message.setHeader(header); 


return message; 


@Override 


51. public void exceptionCaught(ChannelHandlerContext ct; 
52. throws Exception { 


53. if (heartBeat != null) { 


54. heartBeat.cancel(true); 
55. heartBeat = null; 
56. ) 


57. ctx.fireExceptionCaught(cause); 
58. } 
59. ) 





首先 看 第 9 行 ， 当 握手 成 功 之 后 ， 握 手 请 求 Handler 会 继续 将 握手 成 
功 消息 向 下 透 传 ，HeartBeatReqHandler 接 收 到 之 后 对 消息 进行 判断 ， 如 
果 是 握手 成 功 消 息 ， 则 启动 无 限 循 环 定 时 器 用 于 定期 发 送 心 跳 消 息 。 由 
于 NioEventLoop 是 一 个 schedule， 因 此 它 文 持 定 时 器 的 执行 。 心 跳 定 时 
器 的 单位 是 毫秒 ， 默 认为 5000， 即 每 5 秒 发 送 一 条 心跳 消息 。 








为 了 统一 在 一 个 handler 中 处 理 所 有 的 心跳 消息 ， 因 此 第 15 一 20 行 用 
于 接收 服务 端 发 送 的 心跳 应 答 消 息 ， 并 打印 客户 端 接收 和 发 送 的 心跳 消 


= 


4U o 


心跳 定时 器 HeartBeatTask 的 实现 很 简单 ， 通 过 构造 函数 获取 
ChannelHandlerContext， 构 造 心 跳 消 息 并 发 送 。 


服务 端的 心跳 应 答 handler 代 码 如 下 。 


代码 清单 14-10 HeartBeatRespHandler 





1. public class HeartBeatRespHandler extends ChannelHandlerAd: 


o oo - Oo 0 上 上 wm N 


10. 
11. 
12. 
13. 
14. 
15. 
16. 


17 


18. 
19. 


@Override 
public void channelRead(ChannelHandlerContext ctx, Obje 
throws Exception { 
NettyMessage message = (NettyMessage) msg; 
// 返回 心跳 应 答 消息 
if (message.getHeader() != null 
&& message.getHeader().getType() == MessageType .HEARTI 
.value()) { 
System.out.println("Receive client heart beat messac 
* message); 
NettyMessage heartBeat - buildHeatBeat(); 
System.out 
.println("Send heart beat response message to c. 
* heartBeat); 
ctx.writeAndFlush(heartBeat); 
. ) else 


ctx.fireChannelRead(msg); 


j 


20. 


21. 
22. 
23. 
24. 
25; 
26. 
27. 
28. 


private NettyMessage buildHeatBeat() { 
NettyMessage message = new NettyMessage(); 
Header header = new Header(); 
header.setType(MessageType.HEARTBEAT_RESP.value()); 
message.setHeader(header); 


return message; 


j 


服务 端的 心跳 Handler 非 常 简单 ， 接 收 到 心跳 请 求 消息 之 后 ， 构 造 
心路 应 答 消 轧 返 回 ， 并 打印 接收 和 发 送 的 心跳 消息 。 





心跳 超时 的 实现 非常 简单 ， 直 接 利用 Netty 的 ReadTimeoutHandler 机 
制 ， 当 一 定 周期 内 《默认 值 508) 没有 读 取 到 对 方 任何 消 筷 时 ， 需 要 主 
动 关闭 链 路 。 如 果 是 客户 端 ， 重 新 发 起 连接 ， 如 果 是 服务 端 ， 释 放 资 
源 ， 清 除 客户 端 登 录 绥 存 信 息 ， 等 竺 服务 端 重 连 。 











具体 代码 实现 在 下 面 的 小 节 中 会 进行 说 明 。 
14.3.5 NEHE 


当 客 户 端 感知 断 连 事件 之 后 ， 释 放 资 源 ， 重 新 发 起 连接 ， 有 其 体 代码 
实现 如 图 14-4 所 示 。 


图 14-4 客户 端 重 连 代码 





首先 监听 网 络 断 连 事件 ， 如 果 Channel 关 闭 ， 则 执行 后 续 的 重 连任 
务 ， 通 过 Bootstrap 重 新 发 起 连接 ， 客 户 端 挂 在 closeFuture 上 监听 链 路 天 
闭 信号 ， 一 旦 关闭 ， 则 创建 重 连 定 时 器 ，5s 之 后 重新 发 起 连接 ， 直 到 重 
连 成 功 。 


服务 端 感知 到 断 连 事件 之 后 ， 需 要 清空 缓存 的 登录 认证 注册 信息 ， 
以 保证 后 续 客 户 端 能 够 正常 重 连 。 


14.36 ”客户 端 代码 


客户 端 主要 用 于 初始 化 系统 资源 ， 根 据 配 置信 息 发 起 连接 ， 代 码 如 


有 


代码 清单 14-11  NettyClient 





1. 
2 
3 
4 
5. 
6 
7 
8 
9 


public class NettyClient { 


private ScheduledExecutorService executor = Executors 
.newScheduledThreadPool(1); 
EventLoopGroup group = new NioEventLoopGroup(); 
public void connect(int port, String host) throws Exce[ 
// 配置 客户 端 NIO 线 程 组 
try { 
Bootstrap b = new Bootstrap(); 
b.group(group).channel(NioSocketChannel.class) 
.option(ChannelOption.TCP_NODELAY, true) 
.handler(new ChannelInitializer<SocketChannel>() { 
@Override 
public void initChannel(SocketChannel ch) 
throws Exception { 
ch.pipeline().addLast( 
new NettyMessageDecoder(1024 * 1024, 4, 4). 
ch.pipeline().addLast("MessageEncoder", 


new NettyMessageEncoder()); 


. ch.pipeline().addLast("readTimeoutHandler", 


new ReadTimeoutHandler (50) ); 
ch.pipeline().addLast("LoginAuthHandler", 
new LoginAuthRegHandler()); 


ch.pipeline().addLast("HeartBeatHandler", 


24. 


25. 


26. 


27. 
28. 


29. 


30. 


31. 


32. 


33 


34. 
35. 
36. 
37. 


new HeartBeatReqHandler()); 


} 
J): 


// 发 起 异步 连接 操作 


ChannelFuture future = b.connect( 





new InetSocketAddress(host, port), 
new InetSocketAddress(NettyConstant.LOCALIP, 


NettyConstant.LOCAL_PORT)).sync(); 


future.channel().closeFuture().sync(); 


. } finally { 


38. 


39. 


40. 


41. 


42. 


43. 


44. 


45. 


46. 


47. 


48. 
49. 











// 所 有 资源 释放 完成 之 后 ， 清 空 资源 ， 再 次 发 起 重 连 操作 
executor.execute(new Runnable() { 
@Override 


public void run() { 


try { 
TimeUnit.SECONDS.sleep(5); 


try { 
connect(NettyConstant.PORT, NettyConstant.REMO 
) catch (Exception e) ( 
e.printStackTrace(); 
} 
} catch (InterruptedException e) { 


e.printStackTrace(); 


j 


52. 

53. y 

54. * (param args 

55. * @throws Exception 

56. X% 

57. public static void main(String[] args) throws Exceptior 


58. new NettyClient().connect(NettyConstant.PORT, NettyConstar 


59. } 





第 15 和 16 行 增加 了 NettyMessageDecoder 用 于 Netty 消 息 解 码 ， 为 了 
防止 由 于 单条 消息 过 大 导致 的 内 存 溢出 或 者 畸形 码 流 导致 解码 错位 引起 
内 存 分 配 失败 ， 我 们 对 单条 消息 最 大 长 度 进行 了 上 限 限 制 。 第 17 和 18 行 
新 增 了 Netty 消 息 编 码 器 ， 用 于 协议 消息 的 自动 编码 。 随 后 依次 增加 了 
读 超 时 Handler、 握 手 请 求 Handler 和 心跳 消息 Handler。 








第 28 行 友 起 TCP 连 接 的 代码 与 之 前 的 不 同 ， 这 次 我 们 绑 定 了 本 地 站 
口 ， 主 要 用 于 服务 端 重复 登录 保护 ， 另 外 ， 从 产品 管理 角度 看 ， 一 般 情 
况 下 不 允许 系统 随便 使 用 随机 端口 。 





利用 Netty 的 ChannelPipeline 和 ChannelHandler 机 制 ， 可 以 非常 方便 
地 实现 功能 解 古 和 业务 产品 的 定制 。 例 如 本 例 程 中 的 心跳 定时 器 、 握 手 
请 求 和 后 问 的 业务 处 理 可 以 通过 不 同 的 Handler 来 实现 ， 类 似 于 AOP。 
通过 Handler Chain 的 机 制 可 以 方便 地 实现 切面 拦截 和 定制 ， 相 比 于 AOP 
它 的 性 能 更 高 。 





14.3.7 ”服务 端 代码 


相对 于 客户 器， 服务 端的 代码 更 简单 一 些 ， 主 要 的 工作 束 是 握手 的 
接 入 认证 等 ， 不 用 关心 断 连 重 连 等 事件 。 





服务 端的 代码 如 下 。 


代码 清单 14-12  NettyServer 





public class NettyServer { 
public void bind() throws Exception { 
// 配置 服务 端的 NIO 线 程 组 


EventLoopGroup bossGroup = new NioEventLoopGroup(); 


1. 
2. 
3 
4 
5. EventLoopGroup workerGroup = new NioEventLoopGroup(); 
6. ServerBootstrap b = new ServerBootstrap(); 

7. b.group(bossGroup, workerGroup).channel(NioServerSocketCh: 
8 .option(ChannelOption.SO BACKLOG, 100) 

9 


.handler(new LoggingHandler(LogLevel.INFO)) 


10. .childHandler(new Channellnitializer«SocketChannel»!| 
11. QOverride 

12. public void initChannel(SocketChannel ch) 

13. throws IOException ( 

14. ch.pipeline().addLast( 

15. new NettyMessageDecoder(1024 * 1024, 4, 4)), 
16. ch.pipeline().addLast(new NettyMessageEncoder( ): 


17. ch.pipeline().addLast("readTimeoutHandler", 


18. new ReadTimeoutHandler(50)); 


19. ch.pipeline().addLast(new LoginAuthRespHandler(: 


20. ch.pipeline().addLast("HeartBeatHandler", 
21. new HeartBeatRespHandler()); 

22. } 

23. 3): 

24. 


25. // 绑 定 端口 ， 同 步 等 待 成 功 


26. b.bind(NettyConstant.REMOTEIP, NettyConstant.PORT).sync(), 





27. System.out.println("Netty server start ok : " 


28. + (NettyConstant.REMOTEIP + " : " + NettyConstant.POR™ 
29. } 

30. 

31. public static void main(String[] args) throws Exceptic 


32. new NettyServer().bind(); 
33. } 
34. } 





HE Pim AE, RS m ChannelPipeliner? KE f. Netty 4m fi as FU f 
DARUM, AEFIA WEN LoginAuthRespHandlerfll ik M 
HeartBeatRespHandler. 


14.4 运行 协议 栈 
14.4.1 正常 场景 


局 动 服务 痢 ， 答 服务 端 局 动 成 功 之 后 局 动 客 尸 端 ， 检 醋 链 路 是 舍 建 
立成 功 ， 是 人 否 每 隔 5s 互 发 一 次 心跳 请 求 和 应 答 ， 运 行 结果 如 图 14-5 所 
示 。 











图 14-5 ”服务 端 运行 结果 





客户 端 运 行 结果 如 图 14-6 所 示 。 











图 14-6 ”客户 端 运行 结果 


从 上 面 的 运行 结果 可 以 看 出 ， 客 户 问 和 服务 端 握手 成 功 ， 双 方 可 以 
互 友 心跳 ， 链 路 正常 ， 如 图 14-7 所 示 。 


图 14-7 TCP 链接 正常 











14.4.2 FEHR: 服务 端 宕 机 重 局 
假设 服务 端 宕 机 一 段 时 间 重 局 ， 检 验 如 下 功能 是 否 正 常 。 
D 客户 端 是 否 能 够 正 第 发起 重 连 ; 
(2) 重 连 成 功 之 后 ， 不 再 重 连 ; 


(3) 断 连 期 间 ， 心 跳 定 时 器 集 止 工作 ， 不 再 发 送 心跳 请 求 消 轧 ; 





(4) 服务 端 重 局 成 功 之 后 ， 人 允许 客 户 痢 重新 登录 ; 


(5) 服务 问 重 局 成 功 之 后 ， 客 户 端 能 够 重 连 和 握手 成 功 ; 


(6) 重 连 成 功 之 后 ， 双 方 的 心跳 能 够 正常 互 发 。 





(7) 性 能 指标 : 重 连 期 间 ， 客 户 站 资源 得 到 了 正常 回收 ， 不 会 导 
致 句柄 等 资源 泄漏 。 











服务 端 重 局 之 前 的 客户 端 资 源 占 用 如 图 14-8 所 示 。 

















图 14-8 客户 端 堆 内 存 占 用 





线程 资源 占用 如 图 14-9 所 示 。 





图 14-9 ”客户 端 线程 资源 信息 列表 

















服务 端 宕 机 之 后 ， 乍 启 之 前 ， 客 户 问 周期 性 重 连 失败 。 如 图 14-10 
所 示 。 
图 14-10 XP m EER 








重 连 期 间 线 程 资 源 占 用 正常 ， 如 图 14-11 所 示 。 





图 14-11 重 连 期 间 线 程 资源 占用 正常 


重 连 期 间 内 存 占 用 正常 ， 如 图 14-12 所 示 。 














图 14-12 ” 重 连 期 间 内 存 占用 正常 








服务 端 重启 成 功 ， 握 手 成 功 ， 链 路 重新 恢复 ， 如 图 14-13 所 示 。 





图 14-13 ”服务 端 重 启 成 功 后 链 路 恢复 








通过 netstat 命 令 查 看 TCP 连 接 状 态 ， 如 图 14-14 所 示 。 


图 





14-14 ”TCP 连接 


FT 








14.4.3 ”异常 场景 : 客户 端 宕 机 重启 











客户 端 罕 机 重启 之 后 ， 服 务 端 需要 能 够 清除 缓存 信息 ， 多 许 客户 庙 


重新 登录 。 下 面 看 测试 结 





客户 端 停机 ， 然 后 重 局 ， 结 果 如 图 14-15 所 示 。 


图 14-15 





S 











客户 端 宕 机 





Ag 


新 登录 




















运行 结果 表明 客户 端 重 局 之 后 可 以 重新 登录 成 功 ， 说 明 服 务 端 功能 
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本 章 首 移 介 绍 了 私有 协议 栈 的 相关 概念 ， 然 后 通过 一 个 模拟 私有 协 
议 栈 一 一 Netty 协 议 栈 的 设计 和 开发 ， 让 读者 掌握 私有 协议 栈 的 功能 和 
开发 要 点 ， 为 后 续 在 实际 工作 中 进行 私有 协议 栈 的 设计 和 开 友 提供 帮 
助 。 








尽管 本 章节 在 设计 Netty 协 议 栈 的 时 候 ， 已 经 考虑 了 很 多 可 靠 性 方 
面 的 功能 ， 但 是 对 于 实际 商用 协议 栈 而 言 ， 仍 然 是 不 足 的 。 例 如 当 链 路 
断 连 的 时 候 ， 己 经 放 入 发 送 队 列 中 的 消 姑 不 能 丢失 ， 更 加 通用 的 做 法 是 
提供 通知 机 制 ， 将 发 送 失败 的 消息 通知 给 业务 侧 ， 由 业务 做 决定 : ER 
弃 还 是 绥 存 重 发 。 





本 章 综合 了 之 前 所 学 的 Netty 知 识 ， 还 涉及 到 了 通用 半 包 解码 莫 、 
读 超时 、 目 定义 定时 任务 、 安 全 认证 等 方面 的 知识 ， 当 读者 能 够 综合 运 
用 所 学 知识 进行 灵活 设计 和 开发 时 ， 说 明 对 Netty 的 掌握 程度 更 上 了 一 
层 楼 。 








需要 指出 的 是 ， 本 例 程 仅仅 是 个 简单 Demo， 限 于 篇 幅 ， 一 些 实现 
未 必 是 最 优 的 ， 读 者 在 学 习 过 程 中 也 可 以 思考 下 哪些 地 方 还 可 以 进一步 
优化 。 





源码 分 析 篇 “Netty 功 能 介绍 和 源码 


分 析 


ByteBuf 和 相关 辅助 类 

Channel 和 Unsafe 
ChannelPipeline 和 ChannelHandler 
EventLoop 和 EventLoopGroup 


Future 和 Promise 


第 15 章 ”ByteBuf 和 相关 辅助 类 


从 本 章 开 始 ， 我 们 将 学 习 Netty NIO 相 关 的 主要 接口 和 模块 的 API 功 
能 ， 并 对 其 源码 实现 进行 分 机 ， 和 希望 读者 通过 对 功能 和 API 的 学 习 ， 能 
够 更 加 熟练 地 掌握 和 应 用 这 些 类 库 。 对 源码 的 学 习 不 仅 能 够 帮助 读者 从 
源码 的 层面 掌握 Netty 框 架 ， 方 便 日 后 的 维护 、 扩 展 和 定制 ， 更 能 够 起 
到 触 类 劳 通 的 作用 ， 拓 展 读 者 的 知识 面 ， 提 升 编程 技能 。 








本 章 主 要 内 容 包 括 : 


。 ByteBuf 功能 说 明 
。 ByteBuf 源 码 分 析 
。 ByteBuf 相 关 辅 助 类 功能 说 明 


15.1 ByteBuf 功 能 说 明 


当 我 们 进行 数据 传输 的 时 候 ， 往 往 需要 使 用 到 缓冲 区 ， 和 常用 的 缓冲 
区 就 是 JDK NIO 类 库 提供 的 java.nio.Buffer， 它 的 实现 类 如 图 15-1 所 示 。 


图 15-1 java.nio.Buffer 继 承 关 系 图 


实际 上 ，7 种 基础 类 型 (Boolean 除 外 )〉 都 有 自己 的 缓冲 区 实现 ， 对 
于 NIO 编 程 而 言 ， 我 们 主要 使 用 的 是 ByteBuffer。 从 功能 角度 而 言 ， 
ByteBuffer 完 全 可 以 满足 NIO 编 程 的 需要 ， 但 是 由 于 NIO 编 程 的 复杂 性 ， 
ByteBuffer 也 有 其 局 限 性 ， 它 的 主要 缺点 如 下 。 





(1) ByteBuffer 长 度 固 定 ， 一 旦 分 配 完成 ， 它 的 容量 不 能 动态 扩展 
和 收缩 ， 当 需要 编码 的 POJO 对 象 大 于 ByteBuffer 的 容量 时 ， 会 发 生 索 引 
越界 异常 ; 


(2) ByteBuffer 只 有 一 个 标识 位 置 的 指针 position， 读 写 的 时 候 需 
要 手工 调用 flip(0) 和 rewind() 和 等， 使 用 者 必须 小 心 谨慎 地 处 理 这 些 API， 否 
则 很 容易 导致 程序 处 理 失 败 ; 





(3) ByteBuffer 的 API 功 能 有 限 ， 一 些 高 级 和 实用 的 特性 它 不 文 
持 ， 需 要 使 用 者 自己 编程 实现 。 





为 了 弥补 这 些 不 足 ，Netty 提 供 了 自己 的 ByteBuffer 实 现 
ByteBuf， 下 面 我 们 一 起 学 习 ByteBuf 的 原理 和 主要 功能 。 


15.1.1 ByteBuf 的 工作 原理 








不 同 ByteBuf 实 现 类 的 工作 原理 不 尽 相 同 ， 本 小 市 我 们 从 ByteBuf 的 


设计 原理 出 发 ， 一 起 探寻 Netty ByteBuf 的 设计 理念 。 


首先 ，ByteBuf 依 然 是 个 Byte 数 组 的 缓冲 区 ， 它 的 基本 功能 应 该 与 
JDK 的 ByteBuffer 一 致 ， 提 供 以 下 几 类 基本 功能 。 


e 7 种 Java 基 础 类 型 、byte 数 组 、ByteBuffer (ByteBuf) 等 的 读 写 ; 
e 绥 冲 区 自身 的 copy 和 slice 等 ; 

。 设置 网 络 字 节 序 ; 

e. 构造 缓冲 区 实例 ; 

e 操作 位 置 指针 等 方法 。 


由 于 JDK 的 ByteBuffer 已 经 提供 了 这 些 基础 能 力 的 实现 ， 因 此 ， 
Netty ByteBuf 的 实现 可 以 有 两 种 策略 。 


。 参考 JDK ByteBuffer 的 实现 ， 增 加 额外 的 功能 ， 解 决 原 ByteBuffer 的 
缺点 ; 

。 聚合 JDK ”ByteBuffer， 通 过 Facade 模 式 对 其 进行 包装 ， 可 以 减少 自 
寻 的 代码 量 ， 降 低 实现 成 本 。 


JDK ByteBuffer 由 于 只 有 一 个 位 置 指 针 用 于 处 理 读 写 操 作 ， 因 此 每 
次 读 写 的 时 候 都 需要 额外 调用 fip0 和 clear() 等 方法 ， 否 则 功能 将 出 错 ， 
它 的 典型 用 法 如 下 。 





ByteBuffer buffer = ByteBuffer.allocate(88); 
String value = "Netty 权 威 指 南 "， 
buffer.put(value.getBytes()); 

buffer.flip(); 

byte 


[] vArray = new byte 


[buffer.remaining()]; 
buffer.get(vArray); 


String decodeValue = new 


String(vArray); 





我 们 看 下 调用 fipO 操 作 前 后 的 对 比 。 


图 15-2 ByteBuffer flipO 操 作 之 前 


如 图 15-2 所 示 ， 如 果 不 做 flip 操 作 ， 读 取 到 的 将 是 position 有 capacity 
之 间 的 错误 内 容 。 


当 执 行 flipO 操 作 之 后 ， 它 的 limit 被 设置 为 position，position 设 置 为 
0，capacity 不 变 ， 由 于 读 取 的 内 容 是 从 position 到 limit 之 间 ， 因 此 ， 它 能 
够 正确 地 读 取 到 之 前 写 入 绥 冲 区 的 内 容 。 如 图 15-3 所 示 。 


图 15-3 ByteBuffer flipO0 操 作 之 后 


ByteBuf 通 过 两 个 位 置 指 针 来 协助 缓冲 区 的 读 写 操作 ， 读 操作 使 用 
readermdex， 写 操作 使 用 writerIndex。 


readerIndex 和 writerIndex 的 取 值 一 开始 都 是 0， 随 着 数据 的 写 入 


writerIndex 会 增加 ， 读 取 数 据 会 使 readerIndex 增 加 ， 但 是 它 不 会 超过 
writerIndex。 在 读 取 之 后 ，0~readerIndex 的 就 被 视 为 discard 的 ， 调 用 
discardReadBytes 方 法 ， 可 以 释放 这 部 分 空间 ， 它 的 作用 类 似 ByteBuffer 
的 compact 方 法 。ReaderIndex 和 writerIndex 之 间 的 数据 是 可 读 取 的 ， 等 价 
于 ByteBuffer position 和 limit 之 间 的 数据 。WiriterIndex 和 capacity 之 间 的 空 
间 是 可 写 的 ， 等 价 于 ByteBuffer limit 和 capacity 之 间 的 可 用 空间 。 


由 于 写 操作 不 修改 readerIndex 指 针 ， 读 操作 不 修改 writerIndex 指 
针 ， 因 此 读 写 之 间 不 再 需要 调整 位 置 指 针 ， 这 极 大 地 简化 了 缓冲 区 的 读 
写 操作 ， 避 免 了 由 于 遗漏 或 者 不 熟悉 flip0) 操 作 导 致 的 功能 异常 。 








初始 分 配 的 ByteBuf 如 图 15-4 所 示 。 
图 15-4 ”初始 分 配 的 ByteBuf 


写 入 N 个 字 节 之 后 的 ByteBuf 如 图 15-5 所 示 。 





图 15-5” 写 入 N 个 字 节 后 的 ByteBuf 





WEM (<N) 个 字 节 之 后 的 ByteBuf 如 图 15-6 所 示 。 








图 15-6 ZAM 个 字 节 后 的 ByteBuf 


调用 discardReadBytes 操 作 之 后 的 ByteBuf 如 图 15-7 所 示 。 





图 15-7 ”discardReadBytes 操 作 之 后 的 ByteBuf 
调用 clear 操 作 之 后 的 ByteBuf 如 图 15-8 所 示 。 


图 15-8 ”clear 操 作 之 后 的 ByteBuf 





下 面 我 们 继续 分 析 ByteBuf 是 如 何 实现 动态 扩展 的 。 通 常情 况 下 ， 
当 我 们 对 ByteBuffer 进 行 put 操 作 的 时 候 ， 如 果 绥 冲 区 剩余 可 写 空 间 不 
够 ， 就 会 发 生 BufferOverflowException 异 销 。 为 了 避免 发 生 这 个 问题 ， 
通 弟 在 进行 put 操 作 的 时 候 会 对 剩余 可 用 空间 进行 校 验 ， 如 果 剩 余 空 间 
不 足 ， 需 要 重新 创建 一 个 新 的 ByteBuffer， 并 将 之 前 的 ByteBuffer 复 制 到 
新 创建 的 ByteBuffer 中 ， 最 后 释放 老 的 ByteBuffer， 代 码 示例 如 下 。 





if 


(this. 


buffer.remaining() < needSize) 


{ 


int 


toBeExtSize = needSize < 128 ? needSize : 128; 


ByteBuffer tmpBuffer = ByteBuffer.allocate(this.buffer 


this. 


buffer.flip(); 
tmpBuffer.put(this. 


buffer); 


this. 


buffer = tmpBuffer; 
} 


从 示例 代码 可 以 看 出 ， 为 了 防止 ByteBuffer 洲 出 ， 每 进行 一 次 put 操 
作 ， 都 需要 对 可 用 空间 进行 校 验 ， 这 导致 了 代码 见 余 ， 稍 有 不 愤 ， 就 可 
能 引入 其 他 问题 。 为 了 解决 这 个 问题 ，ByteBuf 对 write 操 作 进 行 了 封 
装 ， 由 ByteBuf 的 write 操作 负责 进行 剩余 可 用 衬 间 的 校 验 ， 如 果 可 用 组 
冲 区 不 足 ，ByteBuf 会 自动 进行 动态 扩展 ， 对 于 使 用 者 而 言 ， 不 需要 关 
心底 层 的 校 验 和 扩展 细节 ， 只 要 不 超过 设置 的 最 大 绥 冲 区 容量 即 可 。 当 
可 用 衬 间 不 足 时 ，ByteBuf 会 帮助 我 们 实现 自动 扩展 ， 这 极 大 地 降低 了 
ByteBuf 的 学 习 和 使 用 成 本 ， 提 升 了 开发 效率 。 校 验 和 扩展 的 相关 代码 
如 图 15-9、15-10 所 示 。 





























图 15-9 ”ByteBuf 写 入 字 节 





图 15-10 ByteBuf 5i A^ 


通过 源码 分 析 ， 我 们 发 现 当 进行 write 操作 时 会 对 需要 write 的 字 节 进 
行 校 验 ， 如 果 可 写 的 字 市 数 小 于 需要 写 入 的 字 节 数 ， 并 且 需 要 写 入 的 字 
市 数 小 于 可 写 的 最 大 字 市 数 时 ， 对 缓冲 区 进行 动态 扩展 。 无 论 缓冲 区 是 
售 进 行 了 动态 扩展 ， 从 功能 角度 看 使 用 者 并 不 感知 ， 这 样 就 简化 了 上 层 
的 应 用 。 

















由 于 NIO 的 Channel 恋 写 的 参数 都 是 ByteBuffer， 因 此 ，Netty 的 
ByteBuf 接 口 必须 提供 API 方 便 的 将 ByteBuf 转 换 成 ByteBuffer， 或 者 将 
ByteBuffer 包 装 成 ByteBuf。 考 虑 到 性 能 ， 应 该 尽量 避免 缓冲 区 的 复制 ， 
内 部 实现 的 时 候 可 以 考虑 聚合 一 个 ByteBuffer 的 私有 指针 用 来 代表 
ByteBuffer。 在 后 面 的 源码 分 析 章 市 我 们 将 详细 介绍 它 的 实现 原理 。 





学 习 完 ByteBuf 的 原理 之 后 ， 下 面 我 们 继续 学 习 它 的 主要 API 功 能 
15.1.2 ”ByteBuf 的 功能 介绍 


本 小 节 我 们 将 对 ByteBuf 的 常用 API 进 行 分 类 说 明 ， 讲 解 它 的 主要 功 
能 ， 后 面 的 章节 将 给 出 重要 API 的 一 些 典 型 用 法 。 


顺序 读 操作 (read) 


ByteBuf 的 read 操 作 类 似 于 ByteBuffer 的 get 操 作 ， 主 要 的 API 功 能 说 
明 如 表 15-1 所 示 。 





表 15-1 ByteBuf 的 读 操作 API 列 表 





顺序 写 操 作 (write) 


ByteBuf 的 write 操作 类 似 于 ByteBuffer 的 put 操 作 ， 主 要 的 API 功 能 说 
明 如 表 15-2 所 示 。 





表 15-2 ByteBuf 的 写 操作 API 列 表 





3. readerIndex 和 writerIndex 


Netty 提 供 了 两 个 指针 变量 用 于 文 持 顺序 读 取 和 写 入 操作 : 
readerIndex 用 于 标识 读 取 索引 ，writermdex 用 于 标识 写 入 索引 。 两 个 位 
置 指针 将 ByteBuf 绥 冲 区 分 割 成 三 个 区 域 ， 如 图 15-11 所 示 。 





图 15-11 ByteBuf 的 readerIndex 和 writerIndex 


调用 ByteBuf 的 read 操 作 时 ， 从 readerIndex 处 开始 读 取 。readerIndex 
到 writerIndex 之 间 的 空间 为 可 读 的 字 节 缓冲 区 ;从 writerIndex 到 capacity 
之 间 为 可 写 的 字 节 缓冲 区 ; 0 到 readerIndex 之 间 是 已 经 读 取 过 的 缓冲 
区 ， 可 以 调用 discardReadBytes 操 作 来 重用 这 部 分 空间 ， 以 节约 内 存 ， 
防止 ByteBuf 的 动态 扩张 。 这 在 私有 协议 栈 消 奶 解 码 的 时 候 非常 有 用 ， 
因为 TCP 底 层 可 能 粘 包 ， 几 百 个 整 包 消 息 被 TCP 粘 包 后 作为 一 个 整 包 发 
送 ， 这 样 ， 通 过 discardReadBytes 操 作 可 以 重用 之 前 已 经 解码 过 的 缓冲 
区 ， 这 样 束 可 以 防止 接收 绥 冲 区 因为 容量 不 足 导致 的 扩张 。 但 是 ， 
discardReadBytes 操 作 是 把 双 刃 剑 ， 不 能 滥用， 关于 这 一 点 在 后 续 章 市 
会 进行 详细 说 明 。 








4. Discardable bytes 


相 比 于 其 他 的 Java 对 象 ， 绥 冲 区 的 分 配 和 释放 是 个 耗 时 的 操作 ， 
此 ， 我 们 需要 尽量 重用 它们 。 由 于 缓冲 区 的 动态 扩张 需要 进行 字 市 数组 
的 复制 ， 它 是 个 耗 时 的 操作 ， 因 此 ， 为 了 最 大 程度 地 提升 性 能 ， 往 往 需 
要 尺 最 大 努力 提升 缓冲 区 的 重用 率 。 





假如 缓冲 区 包含 了 N 个 整 包 消息 ， 每 个 消息 的 长 度 为 ， 消 息 的 可 
写字 节 数 为 R > HERM 个 整 包 消 息 后 ， 如 采 不 对 ByteBuf 做 压缩 或 者 
discardReadBytes 操 作 ， 则 可 写 的 缓冲 区 长 度 依然 为 R 。 如 果 调 用 
discardReadBytes 操 作 ， 则 可 写字 节 数 会 变 为 R = (OR +M xL ) ， 之 前 已 


经 读 取 的 M 个 整 包 的 空间 会 被 重用 。 假 如 此 时 ByteBuf 需 要 写 入 R +1 个 
字 节 ， 则 不 需要 动态 扩张 ByteBuf。 


ByteBuf 的 discardReadBytes 操 作 效 果 图 如 下 。 
操作 之 前 如 图 15-12 所 示 。 
图 15-12 ”discardReadBytes 操 作 之 前 的 ByteBuf 


操作 之 后 如 图 15-13 所 示 。 





图 15-13 ”discardReadBytes 操 作 之 后 的 ByteBuf 


需要 指出 的 是 ， 调 用 discardReadBytes 会 发 生字 节 数 组 的 内 存 复 
制 ， 所 以 ， 频 繁 调用 将 会 导致 性 能 下 降 ， 因 此 在 调用 它 之 前 要 确认 你 确 
实 需要 这 样 做 ， 例 如 牺牲 性 能 来 换取 更 多 的 可 用 内 存 。 
discardReadBytes 的 相关 源码 如 图 15-14 所 示 。 








E 





图 15-14 discardReadBytes E zz S SCA FF e tb 


需要 指出 的 是 ， 调 用 discardReadBytes 操 作 之 后 的 writable bytes 内 容 
处 理 策 略 跟 ByteBuf 接 口 的 具体 实现 有 关 。 








5. Readable bytes 和 Writable bytes 








可 读 空间 段 是 数据 实际 存储 的 区 域 ， 以 read 或 者 skip 开 头 的 任何 操 
作 将 会 从 readerIndex 开 始 读 取 或 者 跳 过 指定 的 数据 ， 操 作 完 成 之 后 
readerIndex 增 加 了 访 取 或 者 跳 过 的 字 节 数 长 度 。 如 果 读 取 的 字 节 数 长 度 
大 于 实际 可 读 的 字 节 数 ， 则 抛 出 mdexOutOfBoundsException。 当 新 分 
配 、 包 装 或 者 复制 一 个 新 的 ByteBuf 对 象 时 ， 它 的 readerIndex 为 0。 


可 写 空 间 段 是 尚未 被 使 用 可 以 填充 的 空闲 空间 ， 任 何以 write 开头 的 
操作 都 会 从 writerIndex 开 始 向 空空 间 写 入 字 节 ， 操 作 完 成 之 后 
writerIndex 增 加 了 写 入 的 字 节 数 长 度 。 如 果 写 入 的 字 节 数 大 于 可 写 的 字 
节 数 ， 则 会 抛 出 IndexOutOfBoundsException 异 常 。 新 分 配 一 个 ByteBuf 
对 象 时 ， 它 的 readerIndex 为 0。 通 过 包装 或 者 复制 的 方式 创建 一 个 新 的 
ByteBuf 对 象 时 ， 它 的 writerIndex 是 ByteBuf 的 容量 。 





6. Clear 探 作 


正如 JDK ”ByteBuffer 的 clear 操 作 ， 它 并 不 会 清空 绥 冲 区 内 容 本 里 ， 
例如 填充 为 NUL (0x00〉。 它 主要 用 来 操作 位 置 指 针 ， 例 如 position、 
limit 和 mark。 对 于 ByteBuf， 它 也 是 用 来 操作 readerIndex 和 writerIndex， 
将 它们 还 原 为 初始 分 配 值 。 具 体 的 处 理 示 例 图 如 下 。 


Clear() 操 作 之 前 如 图 15-15 所 示 。 


图 15-15 ”clear 操 作 之 前 的 缓冲 区 








Clear() 操作 之 后 如 图 15-16 所 示 。 


图 15-16 ”clear 操 作 之 后 的 缓冲 区 











7. Mark 和 Rest 





当 对 缓冲 区 进行 读 操 作 时 ， 由 于 某 种 原因 ， 可 能 需要 对 之 前 的 操作 
进行 回 深 。 读 操作 并 不 会 改变 缓冲 区 的 内 容 ， 回 深 操 作 主 要 就 是 重新 设 
置 索引 信息 。 


对 于 JDK 的 ByteBuffer， 调 用 mark 操 作 会 将 当前 的 位 置 指针 备份 到 


mark 变 量 中 ， 当 调用 rest 操 作 之 后 ， 重 新 将 指针 的 当前 位 置 恢复 为 备份 
在 mark 中 的 值 ， 源 码 代 码 如 图 15-17 所 示 。 


图 15-17 mark 操 作 之 后 的 缓冲 区 位 置 指针 











调用 reset 操 作 之 后 如 图 15-18 所 示 。 





图 15-18 ”rest 操 作 之 后 的 缓冲 区 位 置 指针 





Netty 的 ByteBuf 也 有 类 似 的 rest 和 mark 接 口 ， 因 为 ByteBuf 有 读 索 引 
和 写 索 引 ， 因 此 ， 它 总 共有 4 个 相关 的 方法 ， 分 别 如 下 。 


e markReaderIndex: 将 当前 的 readerIndex 备 份 到 markedReaderIndex 
m; 

e resetReaderIndex: 将 当前 的 readerIndex 设 置 为 markedReaderIndex; 

e markWriterIndex: 将 当前 的 writerIndex 备 份 到 markedWriterIndex:; 

e resetWriterIndex: 将 当前 的 writerIndex 设 置 为 markedWriterIndex。 


相关 的 代码 实现 如 图 15-19 所 示 。 





图 15-19 ”mark 和 rest 操 作 前 后 的 缓冲 区 位 置 指针 
8. 查找 操作 


很 多 时 候 ， 震 要 从 ByteBuf 中 会 找 攻 个 字符 ， 例 如 通过 “rm” 作为 文 
本 字符 串 的 换行 符 ， 利 用 *NUL(Ox00)” 作 为 分 隔 符 。 


ByteBuf 提 供 了 多 种 查找 方法 用 于 满足 不 同 的 应 用 场景 ， 详 细 分 类 
如 下 。 


(1) indexOf(int fromIndex, int toIndex, byte value): 从 当前 ByteBuf 
He PH ai value VE, xul NfromIndex, Aue 
toIndex， 如 果 没 有 查找 到 则 返回 -1， 和 否则 返回 第 一 条 满足 搜索 条 件 的 位 
EU. 











(2) bytesBefore(byte value): 从 当前 ByteBuf 中 定位 出 首次 出 现 
value 的 位 置 ， 起 始 索引 为 readerIndex， 终 点 是 writerIndex， 如 果 没 有 查 
找到 则 返回 -1， 人 否则 返回 第 一 条 满足 搜索 条 件 的 位 置 索 引 。 该 方法 不 会 


修改 readerIndex 和 writerIndex。 





(3) bytesBefore(int length, byte value): 从 当前 ByteBuf 中 定位 出 首 
次 出 现 value 的 位 置 ， 起 始 索引 为 readerIndex， 终 点 是 
readerIndex+length， 如 果 没 有 查找 到 则 返回 -1， 否 则 返回 第 一 条 满足 搜 
过 条 件 的 位 置 索引 。 如 果 length 大 于 当前 字 节 缓冲 区 的 可 读 字 节 数 ， 则 
Hù HH IndexOutOfBoundsException t # © 





(4) bytesBefore(int index, int length, byte value): 从 当前 ByteBuf 中 
定位 出 首次 出 现 value 的 位 置 ， 起 始 索 引 为 index， 终 点 是 index+length， 
如 有 果 没 有 但 找到 则 返回 -1， 否 则 返回 第 一 条 满足 搜索 条 件 的 位 置 索 引 。 
如 果 index+length 大 于 当前 字 节 缓冲 区 的 容量 ， 则 抛 出 


IndexOutOfBoundsException = 7 o 





(5) forEachByte(ByteBufProcessor processor): 遍历 当前 ByteBuf 的 
可 读 字 节 数 组 ， 与 ByteBufProcessor 设 置 的 查找 条 件 进 行 对 比 ， 如 果 满 
足 条 件 ， 则 返回 位 置 索引 ， 人 否则 返回 -1。 





(6) forEachByte(int index, int length, ByteBufProcessor processor): 
以 index 为 起 始 位 置 ，index + length 为 终止 位 置 进行 台历 ， 与 


ByteBufProcessor 设 置 的 查找 条 件 进 行 对 比 ， 如 果 满 足 条 件 ， 则 返回 位 
置 索 引 ， 和 否则 返回 -1 





(7) forEachByteDesc(ByteBufProcessor processor): WJ Hi 
ByteBuf 的 可 读 字 节 数 组 ， 与 ByteBufProcessor 设 置 的 查找 条 件 进 行 对 
比 ， 如 果 满 足 条 件 ， 则 返回 位 置 索 引 ， 人 否则 返回 -1。 注 意 对 字 市 数组 进 
行 迭 代 的 时 候 采 用 逆序 的 方式 ， 也 就 是 从 writerIndex-1 开 始 从 代 ， 直 到 


readerIndex. 





(8) forEachByteDesc(int index, int length, ByteBufProcessor 
processor): 以 index 为 起 始 位 置 ，index +length 为 终止 位 置 进行 遍历 ， 与 
ByteBufProcessor 设 置 的 得 找 条 件 进行 对 比 ， 如 果 满 足 条 件 ， 则 返回 
置 索 引 ， 人 否则 返回 -1。 采 用 逆序 得 找 的 方式 ， 从 index+length-1 开 始 ， 


到 index。 











对 于 查找 的 字 节 而 言 ， 存 在 一 些 常 用 值 ， 例 如 回 车 换行 符 、 常 用 的 
分 隔 符 等 ，Netty 为 了 减少 业务 的 重复 定义 ， 在 ByteBufProcessor 接 口中 
对 这 些 常 用 的 碍 找 字 节 进行 了 抽象 ， 定 义 如 下 。 





(1) FIND NUL: NUL (0x00) ; 

(2) FIND CR: CR (V); 

(3) FIND LF: LF (^n); 

(4) FIND CRLF: CR (\r) 或 者 LF (^n); 


(5) FIND LINEAR WHITESPACE: '  ' 或 者 \t。 





使 用 者 也 可 以 自 定 义 碍 找 规则 ， 实 现 如 15-20 所 示 接 口 即 可 。 


图 15-20” 字 节 查 找 接口 





9. Derived buffers 





类 似 于 数据 库 的 视图 ，ByteBuf 提 供 了 多 个 接口 用 于 创建 某 个 
ByteBuf 的 视图 或 者 复制 ByteBuf， 具 体 方 法 如 下 。 


(1) duplicate: 返回 当前 ByteBuf 的 复制 对 象 ， 复 制 后 返回 的 
ByteBuf 与 操作 的 ByteBuf 共 享 绥 冲 区 内 容 ， 但 是 维护 自己 独立 的 读 写 索 
引 。 当 修改 复制 后 的 ByteBuf 内 容 后 ， 之 前 原 ByteBuf 的 内 容 也 随 之 改 

变 ， 双 方 持 有 的 是 同一 个 内 容 指针 引用 。 











(2) copy: 复制 一 个 新 的 ByteBuf 对 象 ， 它 的 内 容 和 索引 都 是 独立 
的 ， 复 制 操作 本 里 并 不 修改 原 ByteBuf 的 读 写 索引 。 


(3) copy(int index, int length): 从 指定 的 索引 开始 复制 ， 复 制 的 字 
节 长 度 为 langth， 复 制 后 的 ByteBuf 内 容 和 读 写 索引 都 与 之 前 的 独立 。 


(4) slice: 返回 当前 ByteBuf 的 可 读 子 缓冲 区 ， 起 始 位 置 从 
readerIndex 到 writerIndex， 返 回 后 的 ByteBuf 与 原 ByteBuf 共 享 内 容 ， 但 
是 读 写 索引 独立 维护 。 访 操作 并 不 修改 原 ByteBuf 的 readerIndex 和 


writerIndex. 


(5) slice(int index, int length): 返回 当前 ByteBuf 的 可 读 子 缓冲 
区 ， 起 始 位 置 从 index 到 index+length， 返 回 后 的 ByteBuf 与 原 ByteBuf 共 
享 内 容 ， 但 是 读 写 索引 独立 维护 。 该 操作 并 不 修改 原 ByteBuf 的 


readerIndex#ll writerIndex . 





10. 转换 成 标准 的 ByteBuffer 


我 们 知道 ， 当 通过 NIO 的 SocketChannel 进 行 网 络 读 写 时 ， 操 作 的 对 
象 是 JDK 标 准 的 java.nio.ByteBuffer， 由 于 Netty 统 一 使 用 ByteBuf 蔡 代 
JDK 原 生 的 java.nio.ByteBuffer， 所 以 必须 从 接口 层面 文 持 两 者 的 相互 转 
换 ， 下 面 就 一 起 看 下 如 何 将 ByteBuf 转 换 成 java.nio.ByteBuffer。 


将 ByteBuf 转 换 成 java.nio.ByteBuffer 的 方法 有 两 个 ， 详 细 说 明 如 
> 


(1) ByteBuffer nioBuffer(): 将 当前 ByteBuf 可 该 的 缓冲 区 转换 成 
ByteBuffer， 两 者 共享 同一 个 缓冲 区 内 容 引 用 ， 对 ByteBuffer 的 读 写 操作 
并 不 会 修改 原 ByteBuf 的 读 写 索引 。 需 要 指出 的 是 ， 返 回 后 的 ByteBuffer 
无 法 感知 原 ByteBuf 的 动态 扩展 操作 。 





(2) ByteBuffer nioBuffer(int index，int length): 将 当前 ByteBuf 从 
index 开 始 长 度 为 length 的 缓冲 区 转换 成 ByteBuffer， 两 者 共享 同一 个 绥 
冲 区 内 容 引 用 ， 对 ByteBuffer 的 读 写 操作 并 不 会 修改 原 ByteBuf 的 读 写 索 
引 。 需 要 指出 的 是 ， 返 回 后 的 ByteBuffer 无 法 感知 原 ByteBuf 的 动态 扩展 
操作 。 








11. 随机 读 写 (set 和 get) 








除了 顺序 读 写 之 外 ，ByteBuf 还 文 持 随机 读 写 ， 它 与 顺序 读 写 的 最 
大 差别 在 于 可 以 随机 指定 读 写 的 索引 位 置 。 


读 取 操作 的 API 列 表 如 图 15-21 所 示 。 





图 15-21 ByteBuf 随 机 读 操 作 API 列 表 


随机 写 操作 的 API 列 表 如 图 15-22 所 示 。 


图 15-22 ”ByteBuf 随 机 写 操 作 API 列 表 








无 论 是 get 还 是 set 操 作 ，ByteBuf 都 会 对 其 索引 和 长 度 等 进行 合法 性 
校 验 ， 与 顺序 读 写 一 致 。 但 是 ，set 操 作 与 write 操作 不 同 的 是 它 不 文 持 动 
态 扩 展 缓冲 区 ， 所 以 使 用 者 必须 保证 当前 的 绥 冲 区 可 写 的 字 节 数 大 于 需 
要 写 入 的 字 节 长 度 ， 否 则 会 抛 出 数组 或 者 缓冲 区 越界 异常 。 相 关 代 码 如 


图 15-23 所 示 。 

















图 15-23 ”ByteBuf 随 机 写 操作 不 支持 动态 扩展 缓冲 区 


15.2 ”ByteBuf 源 码 分 析 


由 于 ByteBuf 的 实现 非常 楷 洒 ， 因 此 本 书 不 会 对 其 所 有 子 类 都 进行 
穷 举 分 析 ， 我 们 挑选 ByteBuf 的 主要 接口 实现 类 和 主要 方法 进行 分 析 说 
明 。 相 信和 理解 了 这 些 主要 功能 之 后 ， 再 去 阅读 和 分 析 其 他 辅助 类 会 更 加 
简单 。 








15.2.1 ByteBuf 的 主要 类 继承 关系 


首先 ， 我 们 通过 主要 功能 类 库 的 继承 关系 图 (图 15-24) ， 来 看 下 
ByteBuf 接 口 的 不 同 实 现 。 


图 15-24 ByteBuf 主 要 功能 类 继承 关系 图 





从 内 存 分 配 的 角度 看 ，ByteBuf 可 以 分 为 两 类 。 


(1) 扒 内 存 〈HeapByteBuf) 字 节 缓冲 区 : 特点 是 内 存 的 分 配 和 回 
收 速度 快 ， 可 以 被 JVM 自 动 回收 ; 缺点 就 是 如 果 进 行 Socket 的 IO 读 写 ， 
需要 额外 做 一 次 内 存 复制 ， 将 堆 内 存 对 应 的 缓冲 区 复制 到 内 核 Channel 
中 ， 人 性 能 会 有 一 定 程 度 的 下 降 。 





(2) HA (DirectByteBuf) FHIX: 非 堆 内 存 ， 它 在 堆 
外 进行 内 存 分 配 ， 相 比 于 推 内 存 ， 它 的 分 配 和 回收 速度 会 慢 一 些 ， 但 是 
将 它 写 入 或 者 从 Socket “Channel 中 读 取 时 ， 由 于 少 了 一 次 内 存 复 制 ， 速 
度 比 堆 内 存 快 。 


正 是 因为 各 有 利 次 ， 所 以 Netty 提 供 了 多 种 ByteBuf 供 开发 者 使 用 ， 
经 验 表 明 ，ByteBuf 的 最 佳 实践 是 在 IO 通信 线程 的 读 写 缓冲 区 使 用 





DirectByteBuf， 后 站 业务 消息 的 编 解码 模块 使 用 HeapByteBuf， 这 样 组 
合 可 以 达到 性 能 最 优 。 


从 内 存 回收 角度 看 ，ByteBuf 也 分 为 两 类 : 基于 对 象 池 的 ByteBuf 和 
普通 ByteBuf。 两 者 的 主要 区 别 就 是 基于 对 象 池 的 ByteBuf 可 以 重用 
ByteBuf 对 象 ， 它 自己 维护 了 一 个 内 存 池 ， 可 以 循环 利用 创建 的 
ByteBuf， 提 升 内 存 的 使 用 效率 ， 降 低 由 于 高 负载 导致 的 频繁 GC。 测 试 
表明 使 用 内 存 池 后 的 Netty 在 高 负载 、 大 并 发 的 冲击 下 内 存 和 GC 更 加 平 





尽管 推荐 使 用 基于 内 存 池 的 ByteBuf， 但 是 内 存 池 的 管理 和 维护 更 
加 复杂 ， 使 用 起 来 也 需要 更 加 许 惰 ， 因 此 ，Netty 提 供 了 灵活 的 全 上 略 供 
使 用 者 来 做 选择 。 


下 面 我 们 对 主要 的 功能 类 和 方法 的 源码 进行 分 析 和 解读， 以 便 能 够 
更 加 深刻 地 理解 ByteBuf 的 实现 ， 掌 握 其 更 加 高 级 的 功能 。 


15.2.2 AbstractByteBuf; 源 码 分 析 


AbstractByteBuf 继 承 自 ByteBuf，ByteBuf 的 一 些 公 共 属 性 和 功能 会 
在 AbstractByteBuf 中 实现 ， 下 面 我 们 对 其 属性 和 重要 代码 进行 分 析 解 
BE o 





1. 主要 成 员 变 量 





首先 ， 像 读 索 引 、 写 索引 、mark、 最 大 容量 等 公共 属性 需要 定义 ， 
具体 定义 如 图 15-25 所 示 。 





图 15-25 ”AbstractByteBuf 成 员 变量 定义 


我 们 重点 关注 下 leakDetector， 它 被 定义 为 static， 意 味 着 所 有 的 
ByteBuf 实 例 共 享 同一 个 ResourceLeakDetector 对 象 。 
ResourceLeakDetector 用 于 检测 对 象 是 否 汇 漏 ， 后 面 有 专门 章节 进行 讲 
解 。 





我 们 发 现 ， 在 AbstractByteBuf 中 并 没有 定义 ByteBuf 的 缓冲 区 实现 ， 
例如 byte 数 组 或 者 DirectByteBuffer。 原因 显而易见 ， 因 为 
AbstractByteBuf 并 不 清楚 子 类 到 底 是 基于 堆 内 存 还 是 直接 内 存 ， 因 此 无 
法 提前 定义 。 








2. ERES 


无 论 子 类 如 何 实 现 ByteBuf， 例 如 UnpooledHeapByteBuf 使 用 byte 数 
组 表示 字 节 缓冲 区 ，UnpooledDirectByteBuf 直 接 使 用 ByteBuffer， 它 们 
的 功能 都 是 相同 的 ， 操 作 的 结果 是 等 价 的 。 


因此 ， 读 操作 以 及 其 他 的 一 些 公共 功能 都 由 父 类 实现 ， 差 异化 功能 
由 子 类 实现 ， 这 也 就 是 抽象 和 继承 的 价值 所在。 


read 类 操作 的 方法 如 图 15-26 所 示 。 





图 15-26 EREDE — 


限于 篇 幅 ， 我 们 不 能 一 一 枚 举 ， 挑 选 其 中 框 线 所 示 的 
readBytes(byte[] dst, int dstIndex, int length) 方 法 进行 分 析 ， 首 先 看 源码 实 
现 ， 如 图 15-27 所 示 。 





图 15-27 readBytes(byte[] dst, int dstIndex, int length) 方 法 源码 





在 读 之 前 ， 首 先 对 缓冲 区 的 可 用 空间 进行 校 验 ， 校 验 的 代码 如 图 
15-28 所 示 。 


图 15-28 readBytes(byte[] dst, int dstIndex, int length) 方 法 源码 


如 果 读 取 的 长 度 小 于 0， 则 抛 出 HegalArgumentException 异 常 提示 参 
数 非 法 ， 如 果 可 与 的 字 节 数 小 于 需要 读 取 的 长 度 ， 则 抛 出 
IndexOutOfBoundsException 异 常 ， 由 于 异常 中 封装 了 详细 的 异常 信息 ， 
所 以 使 用 者 可 以 非常 方便 地 进行 问题 定位 。 


校 验 通 过 之 后 ， 调 用 getBytes 方 法 ， 从 当前 的 读 索 引 开 始 ， 复 制 
length 个 字 节 到 目标 byte 数 组 中 ， 由 于 不 同 的 子 类 复制 操作 的 撤 术 实现 
细节 不 同 ， 因 此 该 方法 由 于 类 实现 ， 如 图 15-29 所 示 。 





图 15-29 ” 字 节 数组 读 取 操 作 








如 采 读 取 成 功 ， 需 要 对 读 索 引进 行 递增 : readerIndex += length. Xt 
他 类 型 的 读 取 操作 与 之 类 似 ， 不 再 展开 介绍 ， 感 兴趣 的 读者 可 以 上 自行 阅 
读 相 关 代 码 。 


3. PRE ik 


与 读 取 操作 类 似 ， 写 操作 有 的 公共 行为 在 AbstractByteBuf 中 实现 ， 它 
的 API 列 表 如 图 15-30 所 示 。 





Ex 


图 15-30” 写 操作 方法 一 





我 们 选择 与 读 取 配套 的 writeBytes(byte[] src, int srcIndex, int length) 
进行 分 析 ， 它 的 功能 是 将 源 字 市 数组 中 从 srcIndex 开 始 ， 人 srcIndex + 


length 截 止 的 字 节 数组 写 入 到 当前 的 ByteBuf 中 。 下 面具 体 看 源码 实现 ， 
如 图 15-31 所 示 。 





图 15-31 ”指定 的 字 节 数组 写 入 缓冲 区 源码 








首先 对 写 入 字 市 数组 的 长 度 进行 合法 性 校 验 ， 校 验 代码 如 图 15-32 
所 示 。 








图 15-32 ”对 写 入 的 字 节 数组 长 度 进行 校 验 


如 果 写 入 的 字 节 数组 长 度 小 于 0， 则 抛 出 IllegalArgumentException 寞 
常 ， 如 果 与 入 的 字 贡 数组 长 度 小 于 当前 ByteBuf 可 写 的 字 节 数 ， 说 明 可 
以 写 入 成 功 ， 直 接 返 回 ;， 如果 写 入 的 字 节 数组 长 度 大 于 可 以 动态 扩展 的 
最 大 可 写字 市 数 ， 说 明 绥 冲 区 无 法 写 入 超过 其 最 大 容量 的 字 市 数组 ， 掀 
HH IndexOutOfBoundsExceptions¥ # o 
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数 ， 但 是 通过 目 身 的 动态 扩展 可 以 满足 新 的 写 入 请 求 ， 则 进行 动态 扩 
展 。 可 能 有 读者 会 产生 疑问 ， 既 然 需 要 写 入 的 字 节 数组 长 度 大 于 当前 组 
冲 区 可 写 的 空间 ， 为 什么 不 像 JDK 的 ByteBuffer 那 样 抛 出 缓冲 区 越界 异 
常 呢 ? 








在 前 面 我 们 分 析 JDK ByteBuffer 缺 点 的 时 候 已 经 有 过 介绍 ， 
ByteBuffer 的 一 个 最 大 的 缺点 就 是 一 旦 完成 分 配 之 后 不 能 动态 调整 其 容 
量 。 由 于 很 多 场景 下 我 们 无 法 预先 判断 需要 编码 和 解码 的 POJO 对 象 长 
度 ， 因 此 只 能 根据 经 验 数 据 给 个 估计 值 ， 如 果 这 个 值 偏 大 ， 束 会 导致 内 
存 的 浪 综 ， 如 果 这 个 值 偏 小 ， 过 到 大 消 晨 编码 的 时 候 束 会 发 生 绥 冲 区 洪 
出 异常 ， 使 用 者 需要 自己 捕获 这 个 异常 ， 并 重新 计算 缓冲 区 的 大 小 ， 将 
原来 的 内 容 复制 到 新 的 缓冲 区 中 ， 然 后 重 置 指针 。 这 种 处 理 策 略 对 用 户 




















非常 不 友好 ， 而 且 稍 有 不 愤 ， 束 会 引入 新 的 问题 。 





Netty 的 ByteBuffer 可 以 动态 扩展 ， 为 了 保证 安全 性 ， 人 允许 使 用 者 指 
定 最 大 的 容量 ， 在 容量 范围 内 ， 可 以 先 分 配 个 较 小 的 初始 容量 ， 后 面 不 
够 用 再 动态 扩展 ， 这 样 可 以 达到 功能 和 性 能 的 最 优 组 合 。 











我 们 继续 看 calculateNewCapacity 方 法 的 实现 : 首先 需要 重新 计算 下 
扩展 后 的 容量 ， 它 有 一 个 参数 ， 等 于 writerIndex + minWritableBytes, tH 
就 是 满足 要 求 的 最 小 容量 。 如 图 15-33 所 示 。 





图 15-33 ”重新 计算 缓冲 区 的 容量 

















首先 设置 门限 准 值 为 4M， 当 需要 的 新 容量 正好 等 于 门限 靖 值 ， 则 
使 用 靖 值 作为 新 的 缓冲 区 容量 。 如 果 新 申请 的 内 存 空间 大 于 国 值 ， 不 能 
采用 倍增 的 方式 (防止 内 存 膨胀 和 浪费 ) 扩张 内 存 ， 采 用 每 次 步 进 4M 
的 方式 进行 内 存 扩张 。 扩 张 的 时 候 需 要 对 扩张 后 的 内 存 和 最 大 内 存 
(maxCapacity) 进行 比较 ， 如 果 大 于 绥 冲 区 的 最 大 长 度 ， 则 使 用 
maxCapacity 作 为 扩容 后 的 缓冲 区 容量 。 














如 采 扩 容 后 的 新 容量 小 于 国 值 ， 则 以 64 为 计数 进行 倍增 ， 直 到 倍增 
后 的 结果 大 于 或 等 于 需要 的 容量 值 。 








采用 倍增 或 者 步 进 算法 的 原因 如 下 : 如 果 以 minNewCapacity 作 为 目 
标 容量 ， 则 本 次 扩容 后 的 可 写字 节 数 刚好 够 本 次 写 入 使 用 。 写 入 完成 
后 ， 它 的 可 写字 节 数 会 变 为 0， 下 次 做 写 入 操作 的 时 候 ， 需 要 再 次 动态 
扩张 。 这 样 就 会 形成 第 一 次 动态 扩张 后 ， 每 次 写 入 操作 都 会 进行 动态 扩 
张 ， 由 于 动态 扩张 需要 进行 内 存 复 制 ， 频 繁 的 内 存 复制 会 寻 致 性 能 


降 。 











采用 先 倍增 后 步 进 的 原因 如 下 : 当 内 存 比较 小 的 情况 下 ， 倍 增 操 作 
并 不 会 带 来 太 多 的 内 存 浪费 ， 例 如 64 字 节 -- 二 128 字 节 -- 二 256 字 节 ， 这 
样 的 内 存 扩张 方式 对 于 大 多 数 应 用 系统 是 可 以 接受 的 。 但 是 ， 当 内 存 增 
长 到 一 定 阐 值 后 ， 再 进行 倍增 就 可 能 会 带 来 额外 的 内 存 浪费 ， 例 如 
10M， 采 用 倍增 后 变 为 20M， 很 有 可 能 系统 只 需要 12M， 扩 张 到 20M 后 
会 带 来 8M 的 内 存 浪 党 。 由 于 每 个 客户 端 连接 都 可 能 维护 自己 独立 的 接 
收 和 发 送 缓冲 区 ， 这 样 随 着 客户 读 的 线性 增长 ， 内 存 浪费 也 会 成 比例 的 
增加 ， 因 此 ， 达 到 某 个 阐 值 后 就 需要 以 步 进 的 方式 对 内 存 进行 平滑 地 扩 
张 。 











这 个 国 值 是 个 经 验 值 ， 不 同 的 应 用 场景 ， 这 个 值 可 能 不 同 ， 此 处 ， 
ByteBuf 取 值 为 4M。 


重新 计算 完 动态 扩张 后 的 目标 容量 后 ， 需 要 重新 创建 个 新 的 缓冲 

区 ， 将 原 缓冲 区 的 内 容 复制 到 新 创建 的 ByteBuf 中 ， 最 后 设置 读 写 索引 

和 mark 标 签 等 。 由 于 不 同 的 子 类 会 对 应 不 同 的 复制 操作 ， 所 以 该 方法 依 
然 是 个 抽象 方法 ， 由 子 类 负责 实现 。 如 图 15-34 所 示 。 











图 15-34 重新 分 配 缓冲 区 的 容量 








4. 操作 索引 


与 索引 相关 的 操作 主要 涉及 设置 读 写 索引 、mark 和 rest 等 。 如 图 15- 
35 所 示 。 


图 15-35 ”索引 操作 相关 API 列 表 


由 于 这 部 分 代码 非常 简单 ， 我 们 就 以 设置 读 索 引 为 例 进 行 分 析 ， 相 
关 代 码 如 图 15-36 所 示 。 





15-36 Edi 





在 重新 设置 恋 索 引 之 前 需要 对 索引 进行 合法 性 判断 ， 如 果 它 小 于 0 
或 者 大 于 写 索 引 ， 则 抛 出 IndexOutOfBoundsException 异 常 ， 设 置 失 败 。 
校 验 通过 之 后 ， 将 索引 设置 为 新 的 值 ， 然 后 返回 当前 的 ByteBuf 对 象 。 





5. HHR K 


前 面 介绍 功能 的 时 候 已 经 简单 讲解 了 如 何 通过 discardReadBytes 和 
discardSomeReadBytes 方 法 重用 已 经 读 取 过 的 缓冲 区 ， 下 面 结合 
discardReadBytes 方 法 的 实现 进行 分 析 ， 源 码 如 图 15-37 所 示 。 


图 15-37 ”重用 读 取 过 的 缓冲 区 








首先 对 读 索 引进 行 判 断 ， 如 果 为 0 则 说 明 没有 可 重用 的 缓冲 区 ， 直 
接 返 回 。 如 果 读 索引 大 于 0 且 读 索引 不 等 于 写生 引 ， 说 明 组 冲 区 中 既 有 
已 经 读 取 过 的 被 丢弃 的 缓冲 区 ， 也 有 尚未 读 取 的 可 读 绥 冲 区 。 调 用 
setBytes(0, this, readerIndex, writerIndex - readerIndex) 方 法 进行 字 节 数组 
复制 。 将 尚未 读 取 的 字 厄 数组 复制 到 缓冲 区 的 起 始 位 置 ， 然 后 重新 设置 
读 写 索引 ， 读 索引 设置 为 0， 写 索引 设置 为 之 前 的 写 索引 减 去 读 索 引 
(重用 的 缓冲 区 长 上 度 ) 。 


























在 设置 读 写 索引 的 同时 ， 需 要 同时 调整 markedReaderIndex 和 
markedWriterIndex， 调 整 mark 的 代码 如 图 15-38 所 示 。 


图 15-38 ”调整 mark 





首先 对 备份 的 markedReaderIndex 和 需要 减少 的 decrement 进 行 判 
断 ， 如 果 小 于 需要 减少 的 值 ， 则 将 markedReaderIndex 设 置 为 0。 注 意 ， 


无 论 markedReaderIndex 还 是 markedWriterIndex， 它 的 取 值 都 不 能 小 于 
0。 如 果 markedWriterIndex 也 小 于 需要 减少 的 值 ， 则 markedWriterIndex 
置 为 0， 和 否则，markedWriterIndex 减 去 decrement 之 后 的 值 就 是 新 的 


markedWriterIndex. 


如 果 需 要 减 小 的 值 小 于 markedReaderIndex， 则 它 也 一 定 也 小 于 
markedWriterIndex，markedReaderIndex 和 markedWriterIndex 的 新 值 就 是 
减 去 decrement 之 后 的 取 值 。 


如 果 readerIndex 等 于 writerIndex， 则 说 明 没 有 可 读 的 字 节 数组 ， 那 
就 不 需要 进行 内 存 复 制 ， 直 接 调 整 mark， 将 读 写 索引 设置 为 0 即 可 完成 
绥 冲 区 的 重用 ， 代 码 如 图 15-39 所 示 。 








图 15-39 ”没有 可 读 的 字 节 数组 ， 不 需要 内 存 复 第 





c 


6. skipBytes 


在 解码 的 时 候 ， 有 时 候 需 要 丢弃 非法 的 数据 报 ， 或 者 跳跃 过 不 需要 
读 取 的 字 节 或 字 节 数组 ， 此 时 ， 使 用 skipBytes 方 法 就 非常 方便 。 它 可 以 
忽略 指定 长 度 的 字 节 数组 ， 读 操作 时 直接 跳 过 这 些 数 据 读 取 后 面 的 可 读 
缓冲 区 ， 详 细 的 代码 实现 如 网 15-40 所 示 。 











图 15-40” 跳 过 指定 长 度 的 缓冲 区 


首先 判断 跳 过 的 长 度 是 否 大 于 当前 缓冲 区 可 读 的 字 节 数组 长 度 ， 如 
果 大 于 可 读 字 节 数组 长 度 ， 则 抛 出 mdexOutOfBoundsException; 如 果 参 
数 本 身 为 负数 ， 则 抛 出 HlegalArgument Exception 异 和 常 。 





如 末 校 验 通 过 ， 则 设置 新 的 读 索 引 为 旧 的 索引 值 与 跳跃 的 长 度 之 
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IndexOutOfBoundsException 异 常 ， 如 果 合 法 ， 则 将 读 索 引 设 置 为 新 的 读 
索引 。 这 样 后 续 读 操作 的 时 候 就 会 从 新 的 读 索 引 开 始 ， 跳 过 length 个 字 
Te 


15.2.3 AbstractReferenceCountedByteBufi) 15 7) +T 


从 类 的 名 字 就 可 以 看 出 该 类 主要 是 对 引用 进行 计数 ， 类 似 于 JVM 内 
存 回收 的 对 象 引用 计数 右 ， 用 于 跟踪 对 象 的 分 配 和 销毁 ， 做 目 动 内 存 回 
收 。 





下 面 通过 源码 来 看 它 的 具体 实现 。 
1. 成 员 变 量 


AbstractReferenceCountedByteBuf 成 员 变 量 列表 如 图 15-41 所 示 。 





图 15-41 AbstractReferenceCountedByteBuf 成 员 变 量 列表 


首先 看 第 一 个 字段 refCntUpdater， 它 是 AtomicIntegerFieldUpdater 类 
型 变量 ， 通 过 原子 的 方式 对 成 员 变 量 进行 更 新 等 操作 ， 以 实现 线程 安 
全 ， 消 除 锁 。 第 二 个 字段 是 REFCNT ”FIELD_OFFSET， 它 用 于 标识 
refCnt 字 段 在 AbstractReferenceCountedByteBuf 中 的 内 存 地 址 ， 该 内 存 地 
址 的 获取 是 JDK 实 现 强 相关 的 ， 如 末 使 用 SUN 的 JDK， 它 通过 
sun.misc.Unsafe 的 objectFieldOffset 接 口 来 获得 ，ByteBuf 的 实现 子 类 
UnpooledUnsafeDirectByteBuf 和 了 PooledUnsafeDirectByteBuf 会 使 用 到 这 个 


偏 移 量 。 








最 后 定义 了 一 个 volatile 修 饰 的 refCnt 字 段 用 于 跟踪 对 象 的 引用 次 





数 ， 使 用 volatile 是 为 了 解决 多 线程 并 发 访问 的 可 见 性 问题 ， 此 处 不 对 
volatile 的 用 法 展开 说 明 ， 后 续 多 线程 章节 会 有 详细 介绍 。 


2. 对象 引用 计数 需 





每 调用 一 次 retain 方 法 ， 引 用 计数 器 就 会 加 一 ， 由 于 可 能 存在 多 线 
程 并 发 调用 的 场景 ， 所 以 它 的 累加 操作 必须 是 线程 安全 的 ， 下 面 我 们 一 
起 看 下 它 的 有 具体 实现 细节 ， 如 图 15-42 所 示 。 





图 15-42 ”调用 retain 函 数 ， 引 用 计数 器 加 一 





通过 自 旋 对 引用 计数 器 进行 加 一 操作 ， 由 于 引用 计数 器 的 初始 值 为 
1， 如 果 申 请 和 释放 操作 能 够 保证 正确 使 用 ， 则 它 的 最 小 值 为 1， 当 被 释 
放 和 被 申请 的 次 数 相 等 时 ， 就 调用 回收 方法 回收 当前 的 ByteBuf 对 象 。 
如 果 为 0， 说 明 对 象 被 意外 、 错 误 地 引用 ， 抛 出 
IllegalReferenceCountException， 如 有 果 引 用 计数 器 达到 整形 的 最 大 值 ， 抛 
出 引用 越界 的 异常 llegalReferenceCountException， 最 后 通过 
compareAndSet 进 行 原子 更 新 ， 它 会 使 用 自己 获取 的 值 跟 期 望 值 进行 对 
比 ， 如 果 期 间 已 经 被 其 他 线程 修改 了 ， 则 比 对 失败 ， 进 行 自 旋 ， 重 新 获 
取 引 用 计数 器 的 值 再 次 比 对 ， 如 果 比 对 成 功 则 对 其 加 一 。 注 意 : 
compareAndSet 是 由 操作 系统 层面 提供 的 原子 操作 ， 这 类 原子 操作 被 称 
为 CAS， 感 兴趣 的 读者 可 以 看 下 Java CAS 的 原理 。 











下 面 看 下 释放 引用 计数 器 的 代码 ， 如 图 15-43 所 示 。 





图 15-43 ”调用 释放 函数 ， 引 用 计数 器 减 一 











与 retain 方 法 类 似 ， 它 也 是 在 一 个 目 旋 循 环 里 面 进行 判断 和 更 新 
的 。 需 要 注意 的 是 : 当 refCnt == 1 时 意味 着 申请 和 释放 相等 ， 说 明 对 象 





引用 已 经 不 可 达 ， 该 对 象 需要 被 释放 和 垃圾 回收 挤 ， 则 通过 调用 
deallocate 方 法 来 释放 ByteBuf 对 象 。 


15.2.4 UnpooledHeapByteBuf/?/i f 7j [jr 





UnpooledHeapByteBuf 是 基于 堆 内 存 进 行内 存 分 配 的 字 节 缓冲 区 ， 
它 没 有 基于 对 象 池 技 术 实 现 ， 这 就 意味 着 每 次 W/O 的 读 写 都 会 创建 一 个 
新 的 UnpooledHeapByteBuf， 频 繁 进行 大 块 内 存 的 分 配 和 回收 对 性 能 会 
造成 一 定 影响 ， 但 是 相 比 于 堆 外 内 存 的 申请 和 释放 ， 它 的 成 本 还 是 会 低 


= 











相 比 于 PooledHeapByteBuf，UnpooledHeapByteBuf 的 实现 原理 更 加 
简单 ， 也 不 容易 出 现 内 存 管理 方面 的 问题 ， 因 此 在 满足 性 能 的 情况 下 ， 
推荐 使 用 UnpooledHeapByteBuf。 





下 面 我 们 就 一 起 来 看 下 UnpooledHeapByteBuf 的 代码 实现 。 


1. 成 员 变 量 
首先 看 下 UnpooledHeapByteBuf 的 成 员 变 量 定 义 ， 如 图 15-44 所 示 。 


EL 


图 15-44 ”UnpooledHeapByteBuf 成 员 变 量 定义 





首先 ， 它 聚合 了 一 个 ByteBufAllocator， 用 于 UnpooledHeapByteBuf 
的 内 存 分 配 ， 紧 接着 定义 了 一 个 byte 数 组 作为 缓冲 区 ， 最 后 定义 了 一 个 
ByteBuffer 类 型 的 mnpNioBuf 变 量 用 于 实现 Netty “ByteBuf 到 JDK NIO 
ByteBuffer 的 转换 。 





事实 上 ， 如 果 使 用 JDK 的 ByteBuffer 蔡 换 byte 数 组 也 是 可 行 的 ， 直 接 








使 用 byte 数 组 的 根本 原因 就 是 提升 性 能 和 更 加 便捷 地 进行 位 操作 。JDK 
的 ByteBuffer 底 层 实 现 也 是 byte 数 组 ， 代 码 如 图 15-45 所 示 。 


15-45 JDK ByteBuffer 内 部 实现 源码 
2. 动态 扩展 缓冲 区 


在 前 一 章 介 绍 AbstractByteBuf 的 时 候 ， 我 们 讲 到 ByteBuf 在 最 大 容量 
范围 内 能 够 实现 自动 扩张 ， 下 面 我 们 一 起 看 下 缓冲 区 的 自动 扩展 在 
UnpooledHeapByteBuf 中 的 实现 ， 如 图 15-46 所 示 。 


图 15-46 ”缓冲 区 的 动态 扩展 


方法 入 口 首先 对 新 容量 进行 合法 性 校 验 ， 如 果 大 于 容量 上 限 或 者 小 
于 0， 则 抛 出 IlegalArgumentException 异 常 。 








判断 新 的 容量 值 是 否 大 于 当前 的 缓冲 区 容量 ， 如 果 大 于 则 需要 进行 
动态 扩展 ， 通 过 byte[] newArray = new byte[newCapacity] 创 建新 的 缓冲 
区 字 节 数组 ， 然 后 通过 System.arraycopy 进 行内 存 复制 ， 将 旧 的 字 节 数组 
复制 到 新 创建 的 字 节 数组 中 ， 最 后 调用 setArray 蔡 换 旧 的 字 贡 数组 。 如 
图 15-47 所 示 。 


图 15-47 FAH E 








需要 指出 的 是 ， 当 动态 扩容 完成 后 ， 需 要 将 原来 的 视图 tmpNioBuf 
设置 为 空 。 








如 果 新 的 容量 小 于 当前 的 缓冲 区 容量 不 再 要 动态 扩展 ， 但 是 需要 截 
取 当 前 缓冲 区 创建 一 个 新 的 子 缓冲 区 ， 有 基体 的 算法 如 下 : 首先 判断 下 读 











索引 是 耕 小 于 新 的 容量 值 ， 如 果 小 于 进一步 判断 写 索引 是 否 大 于 新 的 容 
量 值 ， 如 果 大 于 则 将 写 索 引 设 置 为 新 的 容量 值 (防止 越界 ) 。 更 新 完 写 
索引 之 后 通过 内 存 复 制 System.arraycopy 将 当前 可 读 的 字 节 数组 复制 到 新 
创建 的 子 绥 冲 区 中 ， 代 码 如 下 。 








System.arraycopy(array, readerIndex, newArray, readerIndex, w 
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新 创建 的 缓冲 区 中 ， 将 读 写 索引 设置 为 新 的 容量 值 即 可 。 最 后 调用 
setArray 方 法 珍 换 原来 的 字 节 数组 。 


3. 字 市 数组 复制 
在 前 一 章节 里 我 们 介绍 setBytes(int index, byte[] src, int srcIndex, int 


length) 方 法 的 时 候 说 它 有 子 类 实现 ， 下 面 我 们 看 看 
UnpooledHeapByteBuf 如 何 进 行 字 节 数 组 的 复制 。 如 图 15-48 所 示 。 





图 15-48” 字 节 数 组 复制 


首先 仍然 是 合法 性 校 验 ， 我 们 看 下 校 验 代码 。 如 图 15-49 所 示 。 





图 15-49” 字 节 数 组 复制 前 的 校 验 


校 验 index 和 ]length 的 值 ， 如 果 它 们 小 于 0， 则 抛 出 
IlegalArgumentException， 然 后 对 两 者 之 和 进行 判 晰 ， 如 有 果 大 于 绥 冲 区 
的 容量 ， 则 抛 出 IndexOutOfBoundsException。srcIndex 和 srcCapacity 的 校 
验 与 index 类 似 ， 不 再 装 述 。 校 验 通 过 之 后 ， 调 用 System.arraycopy(src, 
srcIndex, array, index, length) 方 法 进行 字 节 数组 的 复制 。 


需要 指出 的 是 ，ByteBuf 以 set 和 get 开 头 读 写 缓冲 区 的 方法 并 不 会 修 
改 读 写 索 引 。 


4. 转换 成 JDK ByteBuffer 


熟悉 JDK NIO ByteBuffer 的 读者 可 能 会 想到 转换 非常 简单 ， 因 为 
ByteBuf 基 于 byte 数 组 实现 ，NIO 的 ByteBuffer 提 供 了 wrap 方法 ， 可 以 将 
byte 数 组 转换 成 ByteBuffer 对 象 ，JDK 的 相关 源码 实现 如 图 15-50 所 示 。 








图 15-50 JDK ByteBuffer 的 warp 方 法 源码 


大 家 的 猜想 是 对 的 ， 下 面 我 们 一 起 看 下 UnpooledHeapByteBuf 的 实 
现 ， 如 图 15-51 所 示 。 


图 15-51 UnpooledHeapByteBufffJwarp it 





我 们 发 现 ， 唯 一 不 同 的 是 它 还 调用 了 ByteBuffer 的 slice 方 法 ，slice 的 
功能 前 面 已 经 介绍 过 了 ， 此 处 不 再 展开 说 明 。 由 于 每 次 调用 nioBuffer 都 
会 创建 一 个 新 的 ByteBuffer， 因 此 此 处 的 slice 方 法 起 不 到 重用 缓冲 区 内 
容 的 效果 ， 只 能 保证 读 写 索引 的 独立 性 。 


5. 子 类 实现 相关 的 方法 


ByteBuf 中 的 一 些 接口 是 跟 具 体 子 类 实现 相关 的 ， 不 同 的 子 类 功能 
古 不 同 的 ， 本 小 市 我 们 将 列 出 这 些 不 同 点 。 


e isDirect 方 法 : 如 果 是 基于 堆 内 存 实现 的 ByteBuf， 它 返回 false， 相 
天 的 代码 实现 如 图 15-52 所 示 。 





图 15-52 ”UnpooledHeapByteBuf 的 isDirect 方 法 


e hasArray 方 法 : 由 于 UnpooledHeapByteBuf 基 于 字 节 数组 实现 ， 所 以 
它 的 返回 值 是 true。 

e array 方 法 : 由 于 UnpooledHeapByteBuf 基 于 字 节 数组 实现 ， 所 以 它 
的 返回 值 是 内 部 的 字 节 数组 成 员 变 量 。 如 图 15-53 所 示 。 








图 15-53 ”UnpooledHeapByteBuf 的 array 方 法 


读者 在 调用 array 方 法 之 前 ， 可 以 先 通过 hasArray 进 行 判断 ， 如 果 返 
回 false 说 明 当 前 的 ByteBuf 不 支持 array 方 法 。 


。 其 他 本 地 相关 的 方法 有 : arrayOffset、hasMemoryAddress 和 
memoryAddress， 这 些 方 法 的 实现 如 图 15-54 所 示 。 


图 15-54 UnpooledHeapByteBuf 的 address 相 关 方 法 


内 存 地 址 相关 的 接口 主要 由 UnsafeByteBuf 使 用 ， 它 基于 SUN JDK 
的 sun.misc.Unsafe 方 法 实现 ， 本 书 的 重点 并 不 是 介绍 sun.misc.Unsafe 
的 ， 如 果 读 者 对 sun.misc.Unsafe 的 实现 感 兴趣 ， 可 以 阅读 OPEN JDK 的 
相关 源码 实现 ， 也 可 以 通过 其 他 的 DOC 文 档 进 行 深入 学 习 。 





由 于 UnpooledDirectByteBuf 与 UnpooledHeapByteBuf 的 实现 原理 相 
同 ， 不 同 之 处 就 是 它 内 部 缓冲 区 由 java.nio.DirectByteBuffer 实 现 ， 当 党 
握 了 UnpooledHeapByteBuf 之 后 ， 阅 读 UnpooledDirectByteBuf 的 代码 会 
非常 容易 ， 所 以 本 书 不 再 对 UnpooledDirectByteBuf 进 行 源码 解读 。 


15.2.5 ”PooledByteBuf 内 存 池 原理 分 析 


由 于 ByteBuf 内 存 池 的 实现 涉及 到 的 类 和 数据 结构 非常 多 ， 限 于 篇 





幅 ， 本 章 市 不 对 其 源码 进行 展开 说 明 ， 而 是 从 设计 原理 角度 来 讲解 内 存 
池 的 实现 。 


1. PoolArena 


Arena x eta RKR, FEA EE, Memory Arena 是 指 内 存 
中 的 一 大 块 连续 的 区 域 ，PoolArena 就 是 Netty 的 内 存 池 实现 类 。 


为 了 集中 管理 内 存 的 分 配 和 释放 ， 同 时 提高 分 配 和 释放 内 存 时 候 的 
性 能 ， 很 多 框架 和 应 用 都 会 通过 预先 申请 一 大 块 内 存 ， 然 后 通过 提供 相 
应 的 分 配 和 释放 接口 来 使 用 内 存 。 这 样 一 来 ， 对 内 存 的 管理 就 被 集中 到 
几 个 类 或 者 函数 中 ， 由 于 不 再 频繁 使 用 系统 调用 来 申请 和 释放 内 存 ， 应 
用 或 者 系统 的 性 能 也 会 大 大 提高 。 在 这 种 设计 思路 下 ， 预 先 申请 的 那 一 
大 块 内 存 束 被 称 为 Memory Arena. 


不 同 的 框架 ，Memory Arena 的 实现 不 同 ，Netty 的 PoolArena 是 由 多 
个 Chunk 组 成 的 大 块 内 存 区域 ， 而 每 个 Chunk 则 由 一 个 或 者 多 个 Page 组 
成 ， 因 此 ， 对 内 存 的 组 织 和 管理 也 就 主要 集中 在 如 何 管理 和 组 织 Chunk 
和 Page 了 。PoolArena 中 的 内 存 Chunk 定 义 如 图 15-55 所 示 。 





图 15-55 ”Netty 的 Memory Arena 实 现 
2. PoolChunk 


Chunk 主 要 用 来 组 织 和 管理 多 个 Page 的 内 存 分 配 和 释放 ， 在 Netty 
中 ，Chunk 中 的 Page 被 构建 成 一 棵 二 又 树 。 假 设 一 个 Chunk 由 16 个 Page 
组 成 ， 那 么 这 些 Page 将 会 被 按照 图 15-56 所 示 的 形式 组 织 起 来 。 





图 15-56 ”Chunk 的 数据 结构 





Page 的 大 小 是 4 个 字 节 ，Chunk 的 大 小 是 64 个 字 节 (4x16)。 整 棵 树 有 
5 层 ， 第 1 层 〈 也 就 是 叶子 节点 所 在 的 层 ) 用 来 分 配 所 有 Page 的 内 存 ， 第 
4 层 用 来 分 配 2 个 Page 的 内 存 ， 依 次 类 推 。 








每 个 节点 都 记录 了 上 自己 在 整个 Memory Arena 中 的 偏 移 地 址 ， 当 一 个 
节点 代表 的 内 存 区 域 被 分 配 出 去 之 后 ， 这 个 节点 就 会 被 标记 为 已 分 配 ， 
目 这 个 节点 以 下 的 所 有 节点 在 后 面 的 内 存 分 配 请 求 中 都 会 被 忽略 。 举 例 
来 说 ， 当 我 们 请 求 一 个 16 字 闻 的 存储 区 域 时 ， 上 面 这 个 树 中 的 第 3 层 中 
的 4 个 节点 中 的 一 个 就 会 被 标记 为 已 分 配 ， 这 就 表示 整个 Memroy Arena 
中 有 16 个 字 节 被 分 配 出 去 了 ， 新 的 分 配 请 求 只 能 从 剩 下 的 3 个 节点 及 其 
子 树 中 寻找 合适 的 节点 。 

















对 树 的 过 历 采 用 深度 优先 的 算法 ， 但 是 在 选择 哪个 子 点 继续 通 历 
时 则 是 随机 的 ， 并 不 像 通常 的 深度 优先 算法 中 那样 总 是 访问 左边 的 子 节 
Frio 


3. PoolSubpage 


对 于 小 于 一 个 Page 的 内 存 ，Netty 在 Page 中 完成 分 配 。 每 个 Page 会 被 
切 分 成 大 小 相等 的 多 个 存储 块 ， 存 储 块 的 大 小 由 第 一 次 申请 的 内 存 块 大 
小 决定 。 假 如 一 个 Page 是 8 个 字 节 ， 如 果 第 一 次 申请 的 块 大 小 是 4 个 字 
节 ， 那 么 这 个 Page 束 包含 2 个 存储 块 : 如 果 第 一 次 申请 的 是 8 个 字 节 ， 那 
么 这 个 Page 就 被 分 成 1 个 存储 块 。 





一 个 Page 只 能 用 于 分 配 与 第 一 次 申请 时 大 小 相同 的 内 存 ， 比 如 ， 一 
个 4 字 节 的 Page， 如 果 第 一 次 分 配 了 1 字 节 的 内 存 ， 那 么 后 面 这 个 Page 只 
能 继续 分 配 1 字 节 的 内 存 ， 如 果 有 一 个 申请 2 字 节 内 存 的 请 求 ， 就 需要 在 
一 个 新 的 Page 中 进行 分 配 。 


Page 中 存储 区 域 的 使 用 状态 通过 一 个 long 数 组 来 维护 ， 数 组 中 每 个 
long 的 每 一 位 表示 一 个 块 存储 区 域 的 占用 情况 : 0 表示 未 占用 ，1 表 示 以 
占用 。 对 于 一 个 4 字 节 的 Page 来 说 ， 如 果 这 个 Page 用 来 分 配 1 个 字 节 的 存 
储 区 域 ， 那 么 long 数 组 中 就 只 有 一 个 long 类 型 的 元 素 ， 这 个 数值 的 低 4 位 
用 来 指示 各 个 存储 区 域 的 占用 情况 。 对 于 一 个 128 字 节 的 Page 来 说 ， 如 
果 这 个 Page 也 是 用 来 分 配 1 个 字 节 的 存储 区 域 ， 那 么 long 数 组 中 束 会 包 
含 2 个 元 素 ， 总 共 128 位 ， 每 一 位 代表 一 个 区 域 的 占用 情况 。 





相关 的 代码 实现 如 图 15-57 所 示 。 


图 15-57 PoolSubpage 的 变量 定义 





4. 和 内存 回 收 策略 


无 论 是 Chunk 还 是 Page， 都 通过 状态 位 来 标识 内 存 是 人 否 可 用 ， 不 同 
之 处 是 Chunk 通 过 在 二 叉 树 上 对 节点 进行 标识 实现 ，Page 是 通过 维护 块 
的 使 用 状态 标识 来 实现 。 





对 于 使 用 者 来 说 ， 不 需要 关心 内 存 池 的 实现 细节 ， 也 不 需要 与 这 些 
类 库 打 交道 ， 只 需要 按照 API 说 明正 常 使 用 即 可 。 


15.2.6 ”PooledDirectByteBuf 源 人 码 分 析 





PooledDirectByteBuf 基 于 内 存 池 实现 ， 与 UnPooledDirectByteBuf 的 
唯一 不 同 就 是 缓冲 区 的 分 配 是 销 器 策略 不 同 ， 其 他 功能 都 是 等 同 的 ， 也 
就 是 说 ， 两 者 唯一 的 不 同 就 是 内 存 分 配 策略 不 同 。 





1. 创建 字 市 组 冲 区 实例 


由 于 采用 内 存 池 实现 ， 所 以 新 创建 PooledDirectByteBuf 对 象 是 不 能 
直接 new 一 个 实例 ， 而 是 从 内 存 池 中 获取 ， 然 后 设置 引用 计数 器 的 值 ， 
代码 如 图 15-58 所 示 。 





图 15-58 ”PooledDirectByteBuf 的 创建 


直接 从 内 存 池 Recycler<PooledDirectByteBuf 之 中 获取 
Poo rea TEE PERUN ， 然 后 设置 它 的 引用 计数 器 为 1， 设 置 缓冲 区 最 
大 容量 后 返回 。 


2. 复制 新 的 字 节 缓冲 区 实例 


如 果 使 用 者 确实 需要 复制 一 个 新 的 实例 ， 与 原来 的 
PooledDirectByteBuf 独 立 ， 则 调用 它 的 copy (int index, int length) 可 以 
达到 上 述 目 标 ， 代 码 如 图 15-59 所 示 。 


图 15-59 ”PooledDirectByteBuf 的 copy 方 法 


首先 对 索引 和 长 度 进 行 合 法 性 校 验 ， 通 过 之 后 调用 
PooledByteBufAllocator 分 配 一 个 新 的 ByteBuf， 由 于 
PooledByteBufAllocator 没 有 实现 directBuffer 方 法 ， 所 以 最 终 会 调用 到 
AbstractByteBufAllocator 的 directBuffer 方 法 ， 相 关 代码 如 图 15-60 所 示 。 


图 15-60 AbstractByteBufAjllocator 的 缓冲 区 分 配 


newDirectBuffer 方 法 对 于 不 同 的 子 类 有 不 同 的 实现 策略 ， 如 果 是 基 
于 内 存 池 的 分 配器 ， 它 会 从 内 存 池 中 获取 可 用 的 ByteBuf， 如 果 是 非 
池 ， 则 直接 创建 新 的 ByteBuf， 相 关 代 人 码 实现 如 图 15-61、15-62 所 示 。 


图 





图 15-61 基于 内 存 池 的 缓冲 区 分 配 














15-62 ” 非 内 存 池 实现 直接 创建 





新 的 组 六 





"X 


通过 上 述 代码 对 比 我 们 可 以 看 出 ， 基 于 内 存 池 的 实现 直接 从 缓存 中 
获取 ByteBuf 而 不 是 创建 一 个 新 的 对 象 。 


3. 子 类 实现 相关 的 方法 


正如 UnpooledHeapByteBuf，PooledDirectByteBuf 也 有 子 类 实现 相关 


的 功能 ， 这 些 方法 如 





图 15-63 所 示 。 


图 15-63 ”PooledDirectByteBuf 实 现 相关 的 方法 


从 上 述 代 码 可 以 看 出 ， 当 我 们 操作 子 类 实现 相关 的 方法 时 ， 需 要 对 
古人 否 文 持 这 些 操 作 进行 判断 ， 人 否则 会 导致 异常 。 





15.3 ”ByteBuf 相 关 的 辅助 类 功能 介绍 


oe 心 的 ByteBuf 之 后 ， 下 面 一 起 继续 学 习 它 的 一 些 常 用 辅 


15.3.1 ByteBufHolder 





ByteBufHolder 是 ByteBuf 的 容器 ， 在 Netty 中 ， 它 TES 用 ， 例 如 
HITTP 协 议 的 请 求 消 息 和 应 答 消 轧 都 可 以 携 珊 消 妃 体 ， 这 个 消息 体 在 
NIO ByteBuffer 中 就 是 个 ByteBuffer 对 象 ， 在 Netty 中 就 是 ByteBuf 对 象 。 
由 于 不 同 的 协议 消息 体 可 以 包含 不 同 的 协议 字段 和 功能 ， 因 此 ， 需 要 对 
ByteBuf 进 行 包 装 和 抽象 ， 不 同 的 子 类 可 以 有 不 同 的 实现 。 





为 了 满足 这 些 定制 化 的 需求 ，Netty 抽 象 出 了 ByteBufHolder 对 象 ， 
它 包 含 了 一 个 ByteBuf， 另 外 还 提供 了 一 些 其 他 实用 的 方法 ， 使 用 者 继 
承 ByteBufHolder 接 口 后 可 以 按 需 封装 自己 的 实现 。 相 关 类 库 的 继承 关系 
如 图 15-64 所 示 。 





图 15-64 ”ByteBufHolder 继 承 关 系 图 
15.3.2 ByteBufAllocator 


ByteBufAllocator 是 字 节 缓冲 区 分 配器 ， 按 照 Netty 的 绥 诈 区 实现 不 
同 ， 共 有 两 种 不 同 的 分 配器 : 基于 内 存 池 的 字 贡 缓冲 区 分 配器 和 普通 的 
字 节 缓冲 区 分 配器 。 接 口 的 继承 关系 如 图 15-65 所 示 。 








15-65 ”ByteBufAllocator 继 承 关 系 图 


下 面 我 们 给 出 ByteBufAllocator 的 主要 API 功 能 列表 ( 表 15-3) 。 


表 15-3 ByteBufAllocator 主 要 API 功 能 列表 
15.3.3 CompositeByteBuf 


CompositeByteBuf 人 允许 将 多 个 ByteBuf 的 实例 组 装 到 一 起 ， 形 成 一 个 
统一 的 视图 ， 有 点 类 似 于 数据 库 将 多 个 表 的 字段 组 装 到 一 起 统一 用 视图 
展示 。 





CompositeByteBuf 在 一 些 场景 下 非常 有 用 ， 例 如 某 个 协议 POJO 对 象 
包含 两 部 分 : 消息 头 和 消息 体 ， 它 们 都 是 ByteBuf 对 象 。 当 需要 对 消息 
进行 编码 的 时 候 需 要 进行 整合 ， 如 采 使 用 JDK 的 默认 能 力 ， 有 以 下 两 种 

(1) 将 某 个 ByteBuffer 复 制 到 另 一 个 ByteBuffer 中 ， 或 者 创建 一 个 
新 的 ByteBuffer， 将 两 者 复制 到 新 建 的 ByteBuffer 中 ; 


(2) 通过 List 或 数组 等 容器 ， 将 消 轧 头 和 消 妃 体 放 到 容器 中 进行 统 
一 维护 和 处 理 。 

上 面 的 做 法 非常 别扭 ， 实 际 上 我 们 遇 到 的 问题 跟 数 据 库 中 视图 解决 
的 问题 一 致 一 一 缓冲 区 有 多 个 ， 但 是 需要 统一 展示 和 人 处理 ， 必 须 有 存放 
它们 的 统一 容器 。 为 了 解决 这 个 问题 ，Netty 提 供 了 CompositeByteBuf。 


我 们 一 起 简单 看 下 它 的 实现 ， 如 图 15-66 所 示 。 
图 15-66 ”CompositeByteBuf 源 码 


它 定 义 了 en 的 集合 ， 实 际 上 Component 就 是 
ByteBuf 的 包装 实现 类 ， 它 聚合 了 ByteBuf 对 象 ， 维 护 了 在 集合 中 的 位 置 
偏 移 量 信息 等 ， 它 的 实现 如 图 15-67 所 示 。 








图 15-67 Componenti fi 
向 CompositeByteBuf 中 新 增 一 个 ByteBuf 的 代码 ， 如 图 15-68 所 示 。 
[15-68 ”CompositeByteBuf 中 新 增 ByteBuf 源 码 
删除 增加 的 ByteBuf 源 码 ， 如 图 15-69 所 示 。 
图 15-69 ”CompositeByteBuf 中 删除 ByteBuf 源 码 
注意 : 删除 ByteBuf 之 后 ， 需 要 更 新 各 个 Component 的 索引 偏 移 量 。 
15.3.4 ByteBufUtil 


ByteBufUtil 是 一 个 非常 有 用 的 工具 类 ， 它 提供 了 一 系列 静态 方法 用 
于 操作 ByteBuf 对 象 。 它 的 功能 列表 如 图 15-70 所 示 。 




















图 15-70 ByteBufUtil T% 











其 中 最 有 用 的 方法 就 是 对 字符 串 的 编码 和 解码 ， 上 有 具体 如 下 。 


(1) encodeString(ByteBufAllocator alloc, CharBuffer src, Charset 
charset): 对 需要 编码 的 字符 串 src 按 照 指定 的 字符 集 charset 进 行 编码 ， 利 
用 指定 的 ByteBufAllocator 生 成 一 个 新 的 ByteBuf; 


(2) decodeString(ByteBuffer src, Charset charset): 使 用 指定 的 
ByteBuffer 和 charset 进 行 对 ByteBuffer 进 行 解 码 ， 获 取 解 码 后 的 字符 串 。 


还 有 一 个 非常 有 用 的 方法 就 是 hexDump， 它 能 够 将 参数 ByteBuf 的 
内 容 以 十 六 进 制 字 符 串 的 方式 打印 出 来 ， 用 于 输出 日 志 或 者 打印 码 流 ， 
方便 问题 定位 ， 提 升 系统 的 可 维护 性 。 


hexDump 包 含 了 一 系列 的 方法 ， 参 数 不 同 ， 输 出 的 结果 也 不 同 ， 如 
图 15-71 所 示 。 


图 15-71 hexDump 方 法 


15.4 总结 


本 章节 重点 介绍 了 ByteBuf 的 API 功 能 和 其 源码 实现 ， 同 时 介绍 了 与 
ByteBuf 密 切 相 关 的 工具 类 和 辅助 类 ，ByteBuf 是 Netty 架 构 中 最 重要 、 最 
基础 的 数据 结构 ， 熟 练 地 掌握 和 使 用 它 是 学 好 Netty 的 基本 要 求 ， 也 是 
成 长 为 高 级 Netty 开 发 人 员 的 必 经 之 路 。 





由 于 ByteBuf 的 功能 复杂 性 ， 它 的 子 关 实现 非常 庞大 ， 在 本 书 中 进 
行 穷 举 是 不 现实 的 。 读 者 学 习 完 本 章 之 后 ， 对 Netty ByteBuf 的 设计 理念 
和 重要 类 库 的 实现 原理 都 有 了 比较 深入 的 了 解 。 以 此 为 基础 ， 再 去 学 习 
其 他 相关 联 的 类 库 会 容易 很 多 。 








下 个 章节 ， 我 们 继续 学 习 Netty 的 另 两 个 重要 类 库 : Channeli 


Unsafe. 


78162: Channel 和 Unsafe 


提起 Channel， 读 者 朋友 们 可 能 并 不 陌生 一 一 JDK 的 NIO 类 库 的 重要 
组 成 部 分 ， 就 是 提供 了 java.nio.SocketChannel 和 
java.nio.ServerSocketChannel， 用 于 非 阻塞 的 MO 操 作 。 


类 似 于 NIO 的 Channel，Netty 提 供 了 自己 的 Channel 和 其 子 类 实现 ， 
用 于 异步 WO 操作 和 其 他 相关 的 操作 。 


Unsafe 是 个 内 部 接口 ， 聚 合 在 Channel 中 协助 进行 网 络 读 写 相关 的 操 
作 ， 因 为 它 的 设计 初衷 就 是 Channel 的 内 部 辅助 类 ， 不 应 该 被 Netty 框 架 
的 上 层 使 用 者 调用 ， 所 以 被 命名 为 Unsafe。 这 里 不 能 仅 从 字面 理解 认为 
它 是 不 安全 的 操作 ， 而 要 从 整个 架构 的 设计 层面 体会 它 的 设计 初衷 和 职 


pal 


本 章 主 要 内 容 包 括 : 


。 Channel 功能 说 明 

e Unsafe 功 能 说 明 

e Channel 的 主要 实现 子 类 源码 分 析 
e Unsafe 的 主要 实现 子 类 源码 分 析 


16.1 Channel 功能 说 明 


io.netty.channel.Channel 是 Netty 网 络 操作 抽象 类 ， 它 聚合 了 一 组 功 
能 ， 包 括 但 不 限于 网 路 的 读 、 写 ， 客 户 端 发 起 连接 、 主 动 关 闭 连接 ， 链 
路 关闭 ， 获 取 通 信 双 方 的 网 络 地 址 等 。 它 也 包含 了 Netty 框 架 相 关 的 一 
些 功 能 ， 包 括 获 取 该 Chanel 的 EventLoop， 获 取 绥 冲 分 配器 
ByteBufAllocator 和 pipeline 等 。 











下 面 我 们 先 从 Channel 的 接口 分 析 ， 讲 解 它 的 主要 API 和 和 功能， 然后 
再 一 起 看 下 它 的 子 类 的 相关 功能 实现 ， 最 后 再 对 重要 子 类 和 接口 进行 源 
16.1.1 ”Channel 的 工作 原理 


Channel 是 Netty 抽 象 出 来 的 网 络 1/O 读 写 相 关 的 接口 ， 为 什么 不 使 用 
JDK NIO 原生 的 Channel 而 要 男 起 炉灶 呢 ， 主 要 原因 如 下 。 





(1) JDK 的 SocketChannel 和 ServerSocketChannel 没 有 统一 的 
Channel 接 口供 业务 开发 者 使 用 ， 对 于 用 户 而 言 ， 没 有 统一 的 操作 视 
图 ， 使 用 起 来 并 不 方便 。 








(2) JDK 的 SocketChannel 和 ServerSocketChannel 的 主要 职责 就 是 网 
络 1/O 操 作 ， 由 于 它们 是 SPI 类 接口 ， 由 具体 的 虚拟 机 厂家 来 提供 ， 所 以 
通过 继承 SPI 功 能 类 来 扩展 其 功能 的 难度 很 大 ; 直接 实现 
ServerSocketChannel 和 SocketChannel 抽 象 类 ， 其 工作 量 和 重新 开发 一 个 
新 的 Channel 功 能 类 是 差不多 的 。 





(3) Netty 的 Channel 需 要 能 够 跟 Netty 的 整体 架构 融合 在 一 起 ， 例 


如 IO 模型 、 基 于 ChannelPipeline 的 定制 模型 ， 以 及 基于 元 数据 描述 配置 
化 的 TCP 参 数 等 ， 这 些 JDK 的 SocketChannel 和 ServerSocketChannel 都 没 
有 提供 ， 需 要 重新 封装 。 


(4) 自 定 义 的 Channel， 功 能 实现 更 加 灵活 。 





基于 上 述 4 个 原因 ，Netty 重 新 设计 了 Channel 接 口 ， 并 且 给 予 了 很 多 
不 同 的 实现 。 它 的 设计 原理 比较 简单 ， 但 是 功能 却 比 较 繁杂 ， 主 要 的 设 
VERE WE. 


(1) 在 Channel 接 口 屋 ， 采 用 Facade 模 式 进行 统一 封装 ， 将 网 络 IO 
操作 、 网 络 VO 相 关联 的 其 他 操作 封装 起 来 ， 统 一 对 外 提供 。 


(2) Channel 接 口 的 定义 尽量 大 而 全 ， 为 SocketChannel 和 
ServerSocketChannel 提 供 统 一 的 视图 ， 由 不 同 子 类 实现 不 同 的 功能 ， 公 
共 功 能 在 抽象 父 类 中 实现 ， 最 大 程度 上 实现 功能 和 接口 的 重用 。 





(3) 有 具体 实现 采用 聚合 而 非 包含 的 方式 ， 将 相关 的 功能 类 聚合 在 
Channel 中 ， 由 Channel 统 一 负责 分 配 和 调度 ， 功 能 实现 更 加 灵活 。 


16.1.2 Channel 的 功能 介绍 








Channel 的 功能 比较 繁杂 ， 我 们 通过 分 类 的 方式 对 它 的 主要 功能 i 
ITI e 


1. OHNE 


Channel 网 络 MO 相 关 的 方法 定义 如 图 16-1 所 示 。 


图 16-1 ”Channel 的 VO 操作 API 列 表 


下 面 我 们 对 这 些 API 的 功能 进行 分 类 说 明 ， 读 写 相 关 的 API 列 表 。 


(1) Channel read(): 从 当前 的 Channel 中 读 取 数据 到 第 一 个 inbound 
缓冲 区 中 ， 如 果 数 据 被 成 功 读 取 ， 触 发 
ChannelHandler.channelRead(ChannelHandlerContext, Object) 事 件 ， 读 取 
操作 API 调 用 完成 之 后 ， 紧 接着 会 触发 
ChannelHandler.channelReadComplete (Channel HandlerContext) 事 件 ， 这 
样 业 务 的 ChannelHandler 可 以 决定 是 否 需 要 继续 读 取 数据 。 如 果 已 经 有 
该 操作 请 求 被 挂 起 ， 则 后 续 的 读 操作 会 被 忽略 。 


(2) ChannelFuture — write(Object msg): 请 求 将 当前 的 msg 通 过 
ChannelPipeline 写 入 到 目标 Channel 中 。 注 意 ，write 操 作 只 是 将 消息 存 入 
到 消息 发 送 环形 数组 中 ， 并 没有 真正 被 有 发送， 只 有 调用 flush 操 作 才 会 被 
写 入 到 Channel 中 ， 发 送 给 对 方 。 





(3) ChannelFuture write(Object msg, ChannelPromise promise): J} 
能 与 write(Object msg) 相 同 ， 但 是 携 珊 了 ChannelPromise 参 数 负责 设置 写 
入 操作 的 结果 。 





(4) ChannelFuture writeAndFlush(Object msg, ChannelPromise 
promise): 与 方法 (3) 功能 类 似 ， 不 同 之 处 在 于 它 会 将 消息 写 入 到 
Channel 中 发 送 ， 等 价 于 单独 调用 write 和 flush 操 作 的 组 合 。 


(5) ChannelFuture writeAndFlush(Object msg): 功能 等 同 于 方法 
(4) ， 但 是 没有 携带 writeAndFlush(Object msg) 参 数 。 





(6) Channel flush(): 将 之 前 写 入 到 发 送 环形 数组 中 的 消息 全 部 写 
入 到 目标 Chanel 中 ， 发 送 给 通信 对 方 。 


(7) ChannelFuture close(ChannelPromise promise): 主动 关闭 当前 
连接 ， 通 过 Channel Promise 设 置 操 作 结果 并 进行 结果 通知 ， 无 论 操作 是 
售 成 功 ， 都 可 以 通过 ChannelPromise 获 取 操 作 结 果 。 该 操作 会 级 联 触发 
ChannelPipeline 中 所 有 ChannelHandler 的 
ChannelHandler.close(ChannelHandlerContext, ChannelPromise) 事 件 。 


(8) ChannelFuture disconnect(ChannelPromise promise): 请 求 断 开 
与 远程 通信 对 端的 连接 并 使 用 ChannelPromise 来 获取 操作 结果 的 通知 消 
A. WATE A Channel 
Handler.disconnect(ChannelHandlerContext, ChannelPromise) 事 件 。 


(9) ChannelFuture connect(SocketAddress remoteAddress): 客户 端 
使 用 指定 的 服务 端 地 址 remoteAddress 发 起 连接 请 求 ， 如 果 连 接 因为 应 答 
超时 而 失败 ，ChannelFuture 中 的 操作 结果 就 是 ConnectTimeoutException 
异常 ， 如 果 连 接 被 拒绝 ， 操 作 结 果 为 ConnectException。 该 方法 会 级 联 
fit ChannelHandler.connect(ChannelHandlerContext, SocketAddress, 
SocketAddress, ChannelPromise) 事 件 。 


(10) ChannelFuture connect(SocketAddress remoteAddress, 
SocketAddress  localAddress): 与 方法 9) 功能 类 似 ， 唯 一 不 同 的 就 是 先 
绑 定 指定 的 本 地 地 址 localAddress， 然 后 再 连接 服务 端 。 


(11) ChannelFuture connect(SocketAddress remoteAddress, 
ChannelPromise promise): 与 方法 9) 功能 类 似 ， 唯 一 不 同 的 是 携带 了 
ChannelPromise 参 数 用 于 写 入 操作 结果 。 


(12) connect(SocketAddress remoteAddress, SocketAddress 
localAddress, ChannelPromise promise): 与 方法 (11) 功能 类 似 ， 唯 一 不 


同 的 融 是 绑 定 了 本 地 地 址 。 


(13) ChannelFuture bind(SocketAddress localAddress): 绑 定 指定 的 
本 地 Socket 地 址 localAddress， 访 方法 会 级 联 触发 


ChannelHandler.bind(ChannelHandlerContext, SocketAddress, 
ChannelPromise) 事 件 。 

(14) ChannelFuture bind(SocketAddress localAddress, 
ChannelPromise promise): 与 方法 13) 功能 类 似 ， 多 携带 了 了 一 个 


ChannelPromise 用 于 写 入 操作 结果 。 


(15) ChannelConfig config0: 获取 当前 Channel 的 配置 信息 ， 例 如 
CONNECT TIMEOUT MILLIS. 


(16) boolean isOpen(): 判断 当前 Channel 是 否 已 经 打开 。 


(17) boolean isRegistered(): 判断 当前 Channel 是 人 否 已 经 注册 到 
EventLoop 上 。 





(18) boolean isActive(): 判断 当前 Channel 是 否 已 经 处 于 激活 状 


(19) ChannelMetadata metadata(): 获取 当前 Channel 的 元 数据 描述 
音 息 ， 包 括 TCP 参 数 配置 等 。 


(20) SocketAddress localAddress(): 获取 当前 Channel 的 本 地 绑 定 
地 址 。 


(21) SocketAddress remoteAddress(): 获取 当前 Channel 通 信 的 远 
程 Socket 地 址 。 


2. 其 他 常用 的 API 功 能 说 明 


第 一 个 比较 重要 的 方法 是 eventLoop()。Channel 需 要 注册 到 
EventLoop 的 多 路 复 用 器 上 ， 用 于 处 理 VO 事 件 ， 通 过 eventLoop() 方 法 可 
以 获取 到 Channel 注 册 的 EventLoop。EventLoop 本 质 上 就 是 处 理 网 络 读 
写 事 件 的 Reactor 线 程 。 在 Netty 中 ， 它 不 仅仅 用 来 处 理 网 络 事件 ， 也 可 
以 用 来 执行 定时 任务 和 用 户 自 定义 NioTask 等 任务 。 





第 二 个 比较 常用 的 方法 是 metadata() 方 法 。 熟 释 TCP 协 议 的 读者 可 能 
知道 ， 当 创建 Socket 的 时 候 需 要 指定 TCP 参 数 ， 例 如 接收 和 发 送 的 TCP 
绥 冲 区 大 小 ，TCP 的 超时 时 间 ， 是 否 重 用 地 址 等 等 。 在 Netty 中 ， 每 个 
Channel 对 应 一 个 物理 连接 ， 每 个 连接 都 有 自己 的 TCP 参 数 配 置 。 所 以 ， 
Channel 会 聚合 一 个 ChannelMetadata 用 来 对 TCP 参 数 提供 元 数据 描述 信 
息 ， 通 过 metadata() 方 法 就 可 以 获取 当前 Channel 的 TCP 参 数 配 置 。 





三 个 方法 是 parent()。 对 于 服务 端 Channel 而 言 ， 它 的 父 Channel 为 
T, ed 端 Channel， 它 的 父 Channel 就 是 创建 它 的 


ServerSocketChannel. 





第 四 个 方法 是 用 户 获 取 Channel 标 识 的 id0， 它 返回 ChannelId 对 象 ， 
ChannelId 是 Channel 的 唯一 标识 ， 它 的 可 能 生成 策略 如 下 。 


(1) 机 器 的 MAC 地 址 (EUI-48 或 者 EUI-64) 等 可 以 代表 全 局 唯一 
的 信息 ，; 


(2) 当前 的 进程 ID; 


(3) 当前 系统 时 间 的 毫秒 





System.currentTimeMillis(); 


(4) 当前 系统 时 间 纳 秒 数 一 -System.nanoTime(); 
(5) 32 位 的 随机 整 型 数 ; 


(6) 32 位 自 增 的 序列 数 。 


16.2 ”Channel 源 人 码 分 析 


Channel 的 实现 子 类 非常 多 ， 继 承 关系 复杂 ， 从 学 习 的 角度 我 们 抽 
取 最 重要 的 两 个 一 一 Channel- 
io.netty.channel.socket.nio.NioServerSocketChannel 和 
io.netty.channel.socket.nio，NioSocketChannel 进 行 重点 分 析 。 如 果 读 者 对 
其 他 的 Channel 实 现 细节 感 兴趣 ， 可 以 按照 本 书 的 指导 自行 阅读 。 





16.2.1 。 Channel 的 主要 继承 关系 类 图 





为 了 便于 学 习 和 阅读 源码 ， 我 们 分 别 看 下 NioSocketChannel 和 
NioServerSocketChannel 的 继承 关系 类 图 。 


服务 端 NioServerSocketChannel 的 继承 关系 类 图 如 图 16-2 所 示 。 





图 16-2 NioServerSocketChannel 继承 关系 类 图 


客户 端 NioSocketChannel 的 继承 关系 类 图 如 图 16-3 所 示 。 





图 16-3 NioSocketChannel 继承 关系 类 图 
16.2.2 AbstractChannel}) 154) tr 


1. 成 员 变 量 定 义 





在 分 析 AbstractChannel 源 码 之 前 ， 我 们 先 看 下 它 的 成 员 变 量 定 义 ， 
如 图 16-4 所 示 。 





图 16-4 ”AbstractChannel 成 员 变 量 定义 


EE XY VAT BIG RH 





e CLOSED CHANNEL EXCEPTION: 链 路 已 经 关闭 已 经 异常 ; 
e NOT YET CONNECTED EXCEPTION: 物理 链 路 尚未 建立 异常 。 


声明 完 上 述 两 个 异常 之 后 ， 通 过 静态 块 将 它们 的 堆栈 设置 为 空 的 


StackTraceElement. 





estimatorHandle 用 于 预测 下 一 个 报 文 的 大 小 ， 它 基于 之 前 数据 的 采 
样 进行 分 析 预 测 。 


根据 之 前 的 Channel 原 理 分 析 ， 我 们 知道 AbstractChannel 采 用 聚合 的 
方式 封装 各 种 功能 ， 从 成 员 变 量 的 定义 可 以 看 出 ， 它 聚合 了 以 下 内 容 。 


parent: 代表 父 类 Channel; 

。 id: 采用 默认 方式 生成 的 全 局 唯一 ID; 

e unsafe: Unsafe 实 例 ; 

pipeline: 当前 Channel 对 应 的 DefaultChannelPipeline; 
eventLoop: 当前 Channel 注 册 的 EventLoop:; 


在 此 不 一 一 枚 举 。 通 过 变量 定义 可 以 看 出 ，AbstractChannel 聚 合 
所 有 Channel 使 用 到 的 能 力 对 象 ， 由 AbstractChannel 提 供 初 始 化 和 统一 封 
装 ， 如 采 功 能 和 子 类 强 相 关 ， 则 定义 成 抽象 方法 由 子 类 具体 实现 ， 下 面 
的 小 节 束 对 它 的 主要 API 进 行 源码 分 析 。 





2. 核心 API 源 码 分 析 


首先 看 下 网 络 读 写 操作 ， 前 面 章节 介绍 到 网 络 VO 操 作 时 讲 到 它 会 
触发 ChannelPipeline 中 对 应 的 事件 方法 。Netty 基 于 事件 驱动 ， 我 们 也 可 
以 理解 为 当 Chnanel 进 行 WO 操 作 时 会 产生 对 应 的 /O 事 件 ， 然 后 驱动 事件 
在 ChannelPipeline 中 传播 ， 由 对 应 的 ChannelHandler 对 事件 进行 拦截 和 处 
理 ， 不 关心 的 事件 可 以 直接 忽略 。 采 用 事件 驱动 的 方式 可 以 非常 轻松 地 
通过 事件 定义 来 划分 事件 拦截 切面 ， 方 便 业 务 的 定制 和 功能 扩展 ， 相 比 
AOP， 其 性 能 更 高 ， 但 是 功能 却 基本 等 价 。 














网 络 1/O 操 作 直 接 调用 DefaultChannelPipeline 的 相关 方法 ， 由 
DefaultChannelPipeline 中 对 应 的 ChannelHandler 进 行 具 体 的 逻辑 处 理 ， 如 
图 16-5 所 示 。 


图 16-5 ”AbstractChannel 网 络 1/O 操 作 源 码 实现 


AbstractChannel 也 提供 了 一 些 公 共 API 的 具体 实现 ， 例 如 
localAddress() 和 remoteAddress() 方 法 ， 它 的 源码 实现 如 图 16-6 所 示 。 








图 16-6 AbstractChannel remoteAddress 方 法 实现 

首先 从 绥 存 的 成 员 变 量 中 获取 ， 如 果 第 一 次 调用 为 空 ， 需 要 通过 
unsafe 的 remoteAddress 获 取 ， 它 是 个 抽象 方法 ， 上 有 具体 由 对 应 的 Channel 子 
类 实现 。 


16.2.3 AbstractNioChannel}/i (3 4) Jr 


1. 成 员 变 量 定 义 





首先 ， 还 是 从 成 员 变 量 定义 入 手 ， 来 了 解 下 它 的 功能 实现 ， 成 员 变 
量 定义 如 图 16-7 所 示 。 





图 16-7 AbstractNioChannel 成 员 变 量 定 义 


由 于 NIO Channel、NioSocketChannel 和 NioServerSocketChannel 需 要 
共用 ， 所 以 定义 了 一 个 java.nio.SocketChannel 和 
java.nio.ServerSocketChannel 的 公共 父 类 SelectableChannel， 用 于 设置 
SelectableChannel 参 数 和 进行 IO 操作 。 


第 二 个 参数 是 readInterestOp， 它 代表 了 JDK SelectionKey 的 
OP_READ. 


随后 定义 了 一 个 volatile 修 饰 的 SelectionKey， 该 SelectionKey 是 
Channel 注 册 到 EventLoop 后 返回 的 选择 键 。 由 于 Channel 会 面临 多 个 业务 
线程 的 并 发 写 操 作 ， 当 SelectionKey 由 SelectionKey 修 改 之 后 ， 为 了 能 让 
其 他 业务 线程 感知 到 变化 ， 所 以 需要 使 用 volatile 保 证 修改 的 可 见 性 ， 后 
面 的 多 线程 章节 会 专门 对 volatile 的 使 用 进行 说 明 。 


最 后 定义 了 代表 连接 操作 结果 的 ChannelPromise 以 及 连接 超时 定时 
器 ScheduledFuture 和 请 求 的 通信 地 址 信息 。 


2. 核心 API 源 码 分 析 


我 们 一 起 看 下 在 AbstractNioChannel 实 现 的 主要 API， 首 先是 Channel 
的 注册 ， 如 图 16-8 所 示 。 





图 16-8 AbstractNioChannel 的 注册 方法 实现 


定义 一 个 布尔 类 型 的 局 部 变量 selected 来 标识 注册 操作 是 否 成 功 ， 
调用 Selectable Channel 的 register 方 法 ， 将 当前 的 Channel 注 册 到 
EventLoop 的 多 路 复 用 器 上 ，Selectable Channel 的 注册 方法 定义 如 图 16-9 


Bra. 





图 16-9 JDK SelectableChannel 的 注册 方法 定义 


注册 Channel 的 时 候 需要 指定 监听 的 网 络 操作 位 来 表示 Channel 对 哪 
几 类 网 络 事件 感 兴趣 ， 有 具体 的 定义 如 下 。 





e public static final int OP READ = 1 << 0: 读 操作 位 ; 

e public static final int OP_WRITE = 1 << 2: 写 操作 位 ; 

e public static final int OP CONNECT = 1 << 3: 客户 端 连 接 服 务 端 操 
作 位 ; 

e public static final int OP ACCEPT = 1 << 4: 服务 端 接收 客户 端 连 接 
操作 位 。 





AbstractNioChannel 注 册 的 是 0， 说 明 对 任何 事件 都 不 感 兴 趣 ， 仅 仅 
完成 注册 操作 。 注 册 的 时 候 可 以 指定 附件 ， 后 续 Channel 接 收 到 网 络 事 
件 通知 时 可 以 从 SelectionKey 中 重新 获取 之 前 的 附件 进行 处 理 ， 此 处 将 
AbstractNioChannel 的 实现 子 类 自 映 当 作 附件 注册 。 如 果 注 册 Channel 成 
功 ， 则 返回 selectionKey， 通 过 selectionKey 可 以 从 多 路 复 用 器 中 获取 
Channel 对 象 。 








如 果 当 前 注册 返回 的 selectionKey 已 经 被 取消 ， 则 抛 出 
CancelledKeyException 异 常 ， 捕 获 该 异常 进行 处 理 。 如 果 是 第 一 次 处 理 
该 异常 ， 调 用 多 路 复 用 器 的 selectNow() 方 法 将 已 经 取消 的 selectionKey 从 
多 路 复 用 器 中 删除 掉 。 操 作成 功 之 后 ， 将 selected 置 为 hue， 说 明之 前 失 
效 的 selectionKey 已 经 被 删除 掉 。 继 续 发 起 下 一 次 注册 操作 ， 如 果 成 功 
则 退出 ， 如 果 仍 然 发 生 CancelledKeyException 异 常 ， 说 明 我 们 无 法 删除 
已 经 被 取消 的 SelectionKey， 按 照 JDK 的 API 说 明 ， 这 种 意外 不 应 该 发 





生 。 如 果 发 生 这 种 问题 ， 则 说 明 可 能 NIO 的 相关 类 库存 在 不 可 恢复 的 
BUG， 直 接 抛 出 CancelledKeyException 异 常 到 上 层 进行 统一 处 理 。 


下 面 继续 看 另 一 个 比较 重要 的 方法 : 准备 处 理 读 操作 之 前 需要 设置 
网 路 操作 位 为 读 ， 代 人 码 如 图 16-10 所 示 。 


图 16-10 ”修改 网 络 操作 位 为 读 


先 判 断 下 Channel 是 否 关 闭 ， 如 果 处 于 关闭 中 ， 则 直接 返回 。 获 取 
当前 的 SelectionKey 进 行 判断 ， 如 果 可 用 ， 说 明 Channel 当 前 状态 正常 ， 
则 可 以 进行 正常 的 操作 位 修改 。 将 SelectionKey 当 前 的 操作 位 与 读 操 作 
位 进行 按 位 与 操作 ， 如 果 等 于 0， 说 明 目 前 并 没有 设置 读 操作 位 ， 通 过 
interestOps | ”readInterestOp 设 置 读 操 作 位 ， 最 后 调用 selectionKey 的 
interestOps 方 法 重新 设置 通道 的 网 络 操作 位 ， 这 样 就 可 以 监听 网 络 的 读 
事件 了 。 





实际 上 ， 对 于 读 操作 位 的 判断 和 修改 与 JDK NIO SelectionKey 的 相 
关 方 法 实现 是 等 价 的 ， 如 图 16-11 所 示 。 





图 16-11 判断 当前 SelectionKey 是 否 可 读 
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由 于 成 员 变 量 只 有 一 个 Runnable 类 型 的 fushTask 来 负责 继续 写 半 包 
消息 ， 所 以 对 成 员 变 量 不 再 单独 进行 介绍 。 

最 主要 的 方法 就 是 doWrite CChannelOutboundBuffer in) ， 下 面 一 
起 看 看 它 的 实现 ， 由 于 该 方法 过 长 ， 所 以 我 们 按照 其 逻辑 进行 拆 分 介 
绍 。 如 图 16-12 所 示 。 


图 16-12 doWrite (ChannelOutboundBuffer in) 源码 片段 1 


从 发 送 消息 环形 数组 ChannelOutboundBuffer 弹 出 一 条 消息 ， 判 断 该 
消息 是 否 为 空 ， 如 果 为 空 ， 说 明 消 息 发 送 数 组 中 所 有 待 发送 的 消息 都 已 
经 发 送 完 成 ， 清 除 半 包 标识 ， 然 后 退出 循环 。 清 除 半 包 标 识 的 
clearOpWrite 方 法 实现 如 图 16-13 所 示 。 





图 16-13 ”清除 写 半 包 标 识 





从 当前 SelectionKey 中 获取 网 络 操作 位 ， 然 后 与 
SelectionKey.OP_WRITE 做 按 位 与 ， 如 果 不 等 于 0， 说 明 当 前 的 
SelectionKey 是 isWritable 的 ， 需 要 清除 写 操 作 位 。 清 除 方法 很 简单 ， 就 
是 SelectionKey.OP_WRITE 取 非 之 后 与 原 操 作 位 做 按 位 与 操作 ， 清 除 
SelectionKey 的 写 操作 位 。 





继续 看 源码 ， 如 果 需 要 发 送 的 消息 不 为 衬 ， 则 继续 处 理 。 如 图 16- 
14 上 所 示 。 


图 16-14 doWrite (ChannelOutboundBuffer in) 源码 片段 2 


首先 判断 需要 发 送 的 消息 是 否 是 ByteBuf 类 型 ， 如 果 是 ， 则 进行 强 
制 类 型 转换 ， 将 其 转换 成 ByteBuf 关 型 ， 判 断 当 前 消息 的 可 读 字 节 数 是 
人 否 为 0， 如 果 为 0， 说 明 该 消息 不 可 读 ， 需 要 丢弃 。 从 环形 发 送 数 组 中 删 
除 该 消息 ， 继 续 循 环 处 理 其 他 的 消 妃 。 











声明 消 奶 发 送 相关 的 成 员 变 量 ， 包 括 : 写 半 包 标 识 、 消 息 是 售 全 部 
发 送 标识 、 凤 送 的 总 消 乱 字 市 数 。 





这 些 局 部 变量 创建 完成 之 后 ， 对 循环 发 送 次 数 进行 判断 ， 如 果 
为 -1， 则 从 Channel 配 置 对 象 中 获取 循环 发 送 次 数 。 循 环 发 送 次 数 是 指 当 





一 次 发 送 没有 完成 时 〔 写 半 包 ) ， 继 续 循环 发 送 的 次 数 。 设 置 写 半 包 最 
大 循环 次 数 的 原因 是 当 循环 发 送 的 时 候 ，1O 线 程 会 一 直 尝试 进行 写 操 
作 ， 此 时 yO 线程 无 法 处 理 其 他 的 WO 操作 ， 例 如 读 新 的 消息 或 者 执行 定 
时 任务 和 NioTask 等 ， 如 果 网 络 1O 阻 塞 或 者 对 方 接收 消息 太 慢 ， 可 能 会 
导致 线程 假死。 





继续 看 循环 发 送 的 代码 如 图 16-15 所 示 。 
图 16-15 doWrite (ChannelOutboundBuffer in) 源码 片段 3 


调用 doWriteBytes 进 行 消息 发 送 ， 不 同 的 Channel 子 类 有 不 同 的 实 
现 ， 因 此 它 是 抽象 方法 。 如 果 本 次 发 送 的 字 节 数 为 0， 说 明 发 送 TCP 绥 
冲 区 已 满 ， 发 生 了 ZERO_WINDOW。 此 时 再 次 发 送 仍然 可 能 出 现 写 0 字 
节 ， 空 循环 会 占用 CPU 的 资源 ， 导 致 1O 线 程 无 法 处 理 其 他 IO 操作 ， 所 
以 将 写 半 包 标 识 setOpWrite 设 置 为 true， 退 出 循环 ， 释 放 IO 线 程 。 





如 果 发 送 的 字 节 数 大 于 0， 则 对 发 送 总 数 进 行 计 数 。 判 断 当 前 消息 
是 否 已 经 发 送 成 功 ( 绥 冲 区 没有 可 读 字 节 ) ， 如 果 发 送 成 功 则 设置 done 
为 tue， 退 出 当前 循环 。 


消息 发 送 操作 完成 之 后 调用 ChannelOutboundBuffer 更 新 发 送 进度 信 
恩 ， 然 后 对 发 送 结果 进行 判断 。 如 宁 发 送 成 功 ， 则 将 已 经 发 送 的 消息 从 
发 送 数 组 中 删除 ， 否 则 调用 incompleteWrite 方 法 ， 设 置 写 半 包 标识 ， 启 
动 刷 新 线程 继续 发 送 之 前 没有 发 送 完全 的 半 包 消息 〈 写 半 包 ) 。 如 图 
16-16 所 示 。 





图 16-16 doWrite (ChannelOutboundBuffer in) 源码 片段 4 


处 理 半 包 发 送 任务 的 方法 incompleteWrite 的 实现 如 图 16-17 所 示 。 


图 16-17 启动 写 半 包 任 务 线程 用 于 后 续 继续 发 送 半 包 消 息 











首先 判断 是 否 需 要 设置 写 半 包 标识 ， 如 果 需 要 则 调用 setOpWirite 设 
置 写 半 包 标识 ， 代 码 如 图 16-18 所 示 。 











图 16-18 ”设置 写 半 包 标识 








设置 写 半 包 标 识 就 是 将 SelectionKey 设 置 成 可 写 的 ， 通 过 原 操作 位 
与 SelectionKey.OP_WRITE 做 按 位 或 操作 即 可 实现 。 


如 采 SelectionKey 的 OP_WRITE 被 设置 ， 多 路 复 用 器 会 不 断 轮 询 对 
应 的 Channel 用 于 处 理 没 有 发 送 完成 的 半 包 消 轧 ， 直 到 清除 SelectionKey 
的 OP_WRITE 操 作 位 。 因 此 ， 设 置 了 OP_WRITE 操 作 位 后 ， 就 不 需要 启 
动 独立 的 Runnable 来 负责 发 送 半 包 消息 了 。 











如 果 没 有 设置 OP WRITE 操作 位 ， 需 要 局 动 独立 的 Runnable， 将 其 
加 入 到 EventLoop 中 执行 ， 由 Runnable 负 责 半 包 消息 的 发 送 ， 它 的 实现 
很 简单 ， 束 是 调用 flush(0) 方 法 来 发 送 缓冲 数组 中 的 消息 。 








消息 及 送 的 力 一 个 分 文 是 文件 传输 ， 由 于 它 的 实现 原理 与 ByteButf 
类 似 ， 限 于 访 幅 ， 在 此 不 再 详细 说 明 ， 感 兴趣 的 读者 可 以 自己 独立 完成 
分 析 。 


16.2.5 ”AbstractNioMessageChannel 源 人 码 分 析 


由 于 AbstractNioMessageChannel 没 有 自己 的 成 员 变 量 ， 所 以 我 们 直 
接 对 其 方法 进行 说 明 。 


它 的 主要 实现 方法 只 有 一 个 : doWrite(ChannelOutboundBuffer in), 
下 面 首 先 看 下 它 的 源码 ， 如 网 16-19 上 所 示 。 


图 16-19 AbstractNioMessageChannel 消 息 发 送 





在 循环 体内 对 消息 进行 发 送 ， 从 ChannelOutboundBuffer 中 弹出 一 条 
消息 进行 处 理 ， 如 果 消 息 为 宝 ， 说 明 发 送 缓冲 区 为 空 ， 所 有 消息 都 已 经 
被 发 送 完成 。 清 除 写 半 包 标识 ， 退 出 循环 。 





与 AbstractNioByteChannel 的 循环 发 送 类 似 ， 利 用 writeSpinCount 对 
单条 消息 进行 及 送 ， 调 用 doWriteMessage(Object msg, 
ChannelOutboundBuffer ” in) 判断 消息 是 否 发 送 成 功 ， 如 果 成 功 ， 则 将 发 
送 标识 done 设 置 为 tue， 退 出 循环 ; 否则 继续 执行 循环 ， 直 到 执行 


writeSpinCount 次 。 





发 送 操作 完成 之 后 ， 判 断 发 送 结果 ， 如 有 果 当 前 的 消息 被 完全 发 送出 
去 ， 则 将 该 消息 从 绥 冲 数组 中 删除 ， 人 否则 设置 半 包 标识 ， 注 册 
SelectionKey.OP_WRITE 到 多 路 复 用 器 上 ， 由 多 路 复 用 器 轮 询 对 应 的 
Channel 重 新 发 送 尚 未 发 送 完全 的 半 包 消息 。 


通过 代码 分 析 我 们 发 现 ，AbstractNioMessageChannel 和 
AbstractNioByteChannel 的 消息 发 送 实现 比较 相似 ， 不 同 之 处 在 于 : 一 个 
发 送 的 是 ByteBuf 或 者 FileRegion， 它 们 可 以 直接 被 发 送 ， 另 一 个 发 送 的 
则 是 POJO 对 象 。 





16.2.6 ”AbstractNioMessageServerChannel 源 人 码 分 析 


AbstractNioMessageServerChannel 的 实现 非常 简单 ， 它 定义 了 一 个 
EventLoopGroup 类 型 的 childGroup， 用 于 给 新 接 入 的 客户 端 
NioSocketChannel 分 配 EventLoop， 它 的 源码 实现 如 图 16-20 所 示 。 





图 16-20 ”AbstractNioMessageServerChannel 源 码 


当 服 务 端 接 入 一 个 新 的 客户 端 连接 NioSocketChannel 时 ， 都 会 调 
用 childEventLoopGroup 方 法 获取 EventLoopGroup 线 程 组 ， 用 于 给 
NioSocketChannel 分 配 Reactor 线 程 EventLoop， 相 关 分 配 代 码 如 图 16-21 
所 示 。 


图 16-21 通过 childEventLoopGroup 方 法 进行 WO 线程 分 配 





16.2.7 ”NioServerSocketChannel 源 码 分 析 


NioServerSocketChannel 的 实现 比较 简单 ， 下 面 我 们 重点 分 析 主 要 
API 的 实现 ， 首 先 看 它 的 成 员 变 量 定 义 和 静 态 方法 ， 如 图 16-22 所 示 。 








图 16-22 ”NioServerSocketChannel 成 员 变 量 定义 





首先 创建 了 静态 的 ChannelMetadata 成 员 变 量 ， 然 后 定义 了 
ServerSocketChannelConfigH] F Ht E ServerSocketChannelf]TCP Z2 2X, 8$ 
态 的 newSocket 方 法 用 于 通过 ServerSocketChannel 的 open 打 开 新 的 
ServerSocketChannel 通 道 。 


接着 我 们 再 看 下 ServerSocketChannel 相 关 的 接口 实现 : isActive、 
remoteAddress、javaChannel 和 doBind， 它 们 的 源码 如 图 16-23 所 示 。 











图 16-23 ”NioServerSocketChannel 本 地 实现 相关 方法 


通过 java.net.ServerSocket 的 isBound 方 法 判断 服务 端 监听 端口 是 否 处 
于 绑 定 状态 ， 它 的 remoteAddress 为 空 。javaChannel 的 实现 是 
java.nio.ServerSocketChannel， 服 务 端 在 进行 端口 绑 定 的 时 候 ， 可 以 指定 
backlog， 也 就 是 允许 客户 端 排队 的 最 大 长 度 。 相 关 API 说 明 如 图 16-24 所 
示 。 


图 16-24 ”ServerSocket 的 绑 定 方法 





下 面 继续 看 服务 端 Channel 的 doReadMessages(List< Object buf) 的 
实现 ， 如 图 16-25 所 示 。 





图 16-25 NioServerSocketChannel doReadMessages 方 法 





首先 通过 ServerSocketChannel 的 accept 接 收 新 的 客户 端 连接 ， 如 果 
SocketChannel 不 为 空 ， 则 利用 当前 的 NioServerSocketChannel、 
EventLoop 和 SocketChannel 创 建新 的 NioSocketChannel， 并 将 其 加 入 到 
List<Object> buf 中 ， 最 后 返回 1， 表 示 服 务 端 消息 读 取 成 功 。 


对 于 NioServerSocketChannel， 它 的 读 取 操作 就 是 接收 客户 端的 连 
接 ， 创 建 NioSocketChannel 对 象 。 





最 后 看 下 与 服务 端 Channel 无 关 的 接口 定义 ， 由 于 这 些 方 法 是 客户 
端 Channel 相 关 的 ， 因 此 ， 对 于 服务 端 Channel 无 须 实现 ， 如 果 这 些 方法 
被 误 调 ， 则 返回 UnsupportedOperation ” Exception 异 常 ， 这 些 方法 的 源码 
如 图 16-26 所 示 。 








图 16-26 NioServerSocketChannel 不 支持 的 方法 列表 
16.2.8 ”NioSocketChannel 源 人 码 分 析 
连接 操作 


我 们 重点 分 析 与 客户 端 连接 相关 的 API 实 现 ， 首 先 看 连接 方法 的 实 
现 ， 如 图 16-27 所 示 。 





116-27 ”NioSocketChannel 的 连接 方法 





判断 本 地 Socket 地 址 是 否 为 空 ， 如 果 不 为 空 则 调用 
java.nio.channels.SocketChannel.，socketO.bind(0) 方 法 绑 定 本 地 地 址 。 如 果 
绑 定 成 功 ， 则 继续 调用 java.nio.channels. 
SocketChannel.connect(SocketAddress remote) 发 起 TCP 连 接 。 对 连接 结果 
进行 判断 ， 连 接 结果 有 以 下 三 种 可 能 。 





(1) 连接 成 功 ， 返 回 true; 


(2) 暂时 没有 连接 上 ， 服 务 端 没有 返回 ACK 应 答 ， 连 接 结 果 不 确 
定 ， 返 回 false; 


(3) 连接 失败 ， 直 接 抛 出 IO 异常 。 


如 果 是 结果 (2) ， 需 要 将 NioSocketChannel 中 的 selectionKey 设 置 
为 OP_CONNECT， 监 听 连 接 网 络 操作 位 。 如 果 抛 出 了 LO 寞 第 ， 说 明 客 
户 端的 TCP 握 手 请 求 直 接 被 REST 或 者 被 拒绝 ， 此 时 需要 关闭 客户 端 连 
接 ， 代 码 如 图 16-28 所 示 。 


图 16-28 ”连接 失败 ， 关 闭 客户 端 
2. 写 半 包 


分 析 完 连接 操作 之 后 ， 继 续 分 析 写 操作 ， 由 于 它 的 实现 比较 复杂 ， 
所 以 仍然 需要 将 其 拆 分 后 分 段 进行 分 析 ， 代 码 如 图 16-29 所 示 。 


图 16-29 NioSocketChannel 的 写 方法 片段 1 


获取 待 及 送 的 ByteBuf 个 数 ， 如 果 小 于 等 于 1， 则 调用 父 类 
AbstractNioByteChannel 的 doWrite 方 法 ， 操 作 完 成 之 后 退出 。 





在 批量 发 送 缓冲 区 的 消息 之 前 ， 移 对 一 系列 的 局 部 变量 进行 赋值 ， 
首先 ， 获 取 需 要 发 送 的 ByteBuffer 数 组 个 数 nioBufferCnt， 然 后 ， 从 
ChannelOutboundBuffer 中 获取 需要 发 送 的 总 字 节 数 ， 从 
NioSocketChannel 中 获取 NIO 的 SocketChannel， 将 是 否 发 送 完成 标识 设 
置 为 false， 将 是 否 有 写 半 包 标识 设置 为 false。 如 图 16-30 所 示 。 





图 16-30 ”NioSocketChannel 的 写 方法 片段 2 
继续 分 析 循 环 发 送 的 代码 ， 代 码 如 图 16-31 所 示 。 
图 16-31 NioSocketChannel 的 写 方法 片段 3 


就 像 循环 读 一 样 ， 我 们 需要 对 一 次 Selector 轮 询 的 写 操作 次 数 进 行 
上 限 控 制 ， 因 为 如 果 TCP 的 发 送 缓冲 区 满 ，TCP 处 于 KEEP-ALIVE 状 
态 ， 消 息 会 无 法 发 送出 去 ， 如 果 不 对 上 限 进行 控制 ， 就 会 长 时 间 地 处 于 
发 送 状 态 ，Reactor 线 程 无 法 及 时 读 取 其 他 消息 和 执行 排队 的 Task。 所 
以 ， 我 们 必须 对 循环 次 数 上 限 做 控制 。 


调用 NIO SocketChannel 的 write 方法 ， 它 有 三 个 参数 : 第 一 个 是 需要 
发 送 的 ByteBuffer 数 组 ， 第 二 个 是 数组 的 偏 移 量 ， 第 三 个 参数 是 发 送 的 
ByteBuffer 个 数 。 返 回 值 是 写 入 SocketChannel 的 字 贡 个 数 。 


下 面 对 写 入 的 字 贡 进行 判断 ， 如 果 为 0， 说 明 TCP 发 送 缓冲 区 已 
满 ， 很 有 可 能 无 法 再 写 进 去 ， 因 此 从 循环 中 跳出 ， 同 时 将 写 半 包 标 识 设 
置 为 true， 用 于 回 多 路 复 用 器 注册 写 操 作 位 ， 告 诉 多 路 复 用 器 有 没 发 完 
的 半 包 消息 ， 需 要 轮 询 出 就 绪 的 SocketChannel 继 续 发 送 。 人 代码 如 图 16- 
32 所 示 。 








图 16-32 ”NioSocketChannel 的 写 方法 片段 4 


发 送 操作 完成 后 进行 两 个 计算 : 需要 发 送 的 字 节 数 要 减 去 已 经 发 送 
的 字 节 数 ; 发 送 的 字 节 总 数 + 已 经 发 送 的 字 节 数 。 更 新 完 这 两 个 变量 
后 ， 判 断 缓冲 区 中 所 有 的 消息 是 否 已 经 发 送 完成 ， 如 果 是 ， 则 把 发 送 完 
成 标识 设置 为 tue 同 时 退出 循环 。 如 果 没 有 发 送 完成 ， 则 继续 循环 。 从 
循环 发 送 中 退出 之 后 ， 首 先 对 发 送 完 成 标识 done 进 行 判断 ， 如 果 发 送 完 
成 ， 则 循环 释放 已 经 发 送 的 消息 。 环 形 数组 的 发 送 缓冲 区 释放 完成 后 ， 
取消 半 包 标识 ， 告 诉 多 路 复 用 器 消息 已 经 全 部 发 送 完成 。 代 码 如 图 16- 
33 所 示 。 











图 16-33 ”NioSocketChannel 的 写 方法 片段 5 





当 绥 冲 区 中 的 消息 没有 发 送 完成 ， 甚 至 某 个 ByteBuffer 只 发 送 了 几 
个 字 节 ， 出 现 了 所 谓 的 “ 写 半 包 ? 时 ， 该 怎么 办 ? 下 面 我 们 继续 看 看 Netty 
是 如 何 处 理 “ 写 半 包 ”的 。 如 图 16-34 所 示 。 


图 16-34 ”NioSocketChannel 的 写 方法 片段 6 
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体 展 开 进 行 说 明 。 


(1) 从 ChannelOutboundBuffer 弹 出 第 一 条 发 送 的 ByteBuf， 然 后 获 
取 该 ByteBuf 的 读 索 引 和 可 读 字 节 数 。 








(2) 对 可 读 字 节 数 和 发 送 的 总 字 节 数 进 行 比 较 ， 如 有 果 发 送 的 字 贡 
数 大 于 可 读 的 字 节 数 ， 说 明 当前 的 ByteBuf 已 经 被 完全 发 送出 去 ， 更 新 
ChannelOutboundBuffer 的 发 送 进 度 信息 ， 将 已 经 发 送 的 ByteBuf 删 除 ， 
释放 相关 资源 。 最 后 ， 发 送 的 字 市 数 要 减 去 第 一 条 发 送 的 字 市 数 ， 得 到 
后 续 消 息 发 送 的 总 字 节 数 ， 然 后 继续 循环 判断 第 二 条 消息 、 第 三 条 消 
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(3) 如 果 可 读 的 消息 大 于 已 经 发 送 的 总 字 节 数 ， 说 明 这 条 消息 没 
有 被 完整 地 发 送出 去 ， 仅 仅 发 送 了 部 分 数据 报 ， 也 惑 是 出 现 了 上 所 谓 
的 “ 写 半 包 ” 问 题 。 此 时 ， 需 要 更 新 可 读 的 索引 为 当前 索引 + 已 经 发 送 的 
总 字 节 数 ， 然 后 更 新 ChannelOutboundBuffer 的 发 送 进 度 信 息 ， 退 出 循 
环 。 








(4) 如 果 可 读 字 节 数 等 于 已 经 发 送 的 总 字 节 数 ， 则 说 明 最 后 一 次 
发 送 的 消 轧 是 个 整 包 消 轧 ， 没 有 剩余 的 半 包 消息 竺 发 送 。 更 新 发 送 进度 
信息 ， 将 最 后 一 条 已 发 送 的 消息 从 缓冲 区 中 删除 ， 最 后 退出 循环 。 








循环 发 送 操作 完成 之 后 ， 更 新 SocketChannel 的 操作 位 为 
OP WRITE， 由 多 路 复 用 需 在 下 一 次 轮 询 中 触发 SocketChannel， 继 续 处 
理 没 有 发 送 完成 的 半 包 消息 。 


3. 读 写 操作 


NioSocketChannel 的 读 写 操作 实际 上 是 基于 NIO 的 SocketChannel 和 
Netty 的 ByteBuf 封 装 而 成 ， 下 面 我 们 首先 分 析 从 SocketChannel 中 读 取 数 
据 报 ， 如 图 16-35 所 示 。 








图 16-35 ”NioSocketChannel 读 取 数 据 报 
它 有 两 个 参数 ， 说 明 如 下 。 


e java.nio.channels.SocketChannel: JDK NIO 的 SocketChannel; 
e length: ByteBuf 的 可 写 最 大 字 节 数 。 








实际 上 就 是 从 SocketChannel 中 读 取 L 个 字 节 到 ByteBuf 中 ， 工 为 
ByteBuf 可 写 的 字 节 数 ， 下 面 我 们 看 下 ByteBuf writeBytes 方 法 的 实现 ， 


如 图 16-36 所 示 。 





图 16-36 ”从 SocketChannel 读 取 数 据 报到 ByteBuf 中 


首先 分 析 setBytes(int index, ScatteringByteChannel in, int length) 在 
UnpooledHeapByteBuf 中 的 实现 ， 如 图 16-37 所 示 。 


图 16-37 ”UnpooledHeapByteBuf 的 set 方 法 实现 


从 SocketChannel 中 读 取 字 节 数组 到 缓冲 区 java.nio.ByteBuffer 中 ， 它 
的 起 始 position 为 writeIndex，1limit 为 writeIndex+length，JDK ByteBuffer 
的 相关 DOC 说 明 如 图 16-38 所 示 。 





图 16-38 ”java.nio.ByteBuffer 的 read 方 法 


16.3 ”Unsafe 功 能 说 明 





Unsafe 接 口 实际 上 是 Channel 接 口 的 辅助 接口 ， 它 不 应 该 被 用 户 代 码 
直接 调用 。 实 际 的 IO 读 写 操作 都 是 由 Unsafe 接 口 负责 完成 的 。 下 面 我 们 
一 起 看 下 它 的 API 定 义 。 





表 16-1 Unsafe API 功 能 列表 


16.4 ” ”Unsafe 源码 分 析 


实际 的 网 络 W/O 操 作 基 本 都 是 由 Unsafe 功 能 类 负责 实现 的 ， 下 面 我 们 
一 起 看 下 它 的 主要 功能 子 类 和 重要 的 API 实 现 。 


16.4.1 。 Unsafe 继承 关系 类 图 


首先 看 下 如 图 16-39 所 示 Unsafe 接 口 的 类 继承 关系 图 。 


图 16-39 ”Unsafe 继 承 关系 图 





16.4.2 AbstractUnsafe 源 码 分 析 
1. register 方 法 


register 方 法 主要 用 于 将 当前 Unsafe 对 应 的 Channel 注 册 到 EventLoop 
的 多 路 复 用 器 上 ， 然 后 调用 DefaultChannelPipeline 的 
fireChannelRegistered 方 法 。 如 果 Channel 被 激活 ， 则 调用 
DefaultChannelPipeline 的 fireChannelActive 方 法 。 源 码 如 图 16-40 所 示 。 





首先 判断 当前 所 在 的 线程 是 人 否 是 Channel 对 应 的 NioEventLoop 线 
程 ， 如 果 是 同一 个 线程 则 不 存在 多 线程 并 发 操作 问题 ， 直 接 调用 
register0 进 行 注册 :如果 是 由 用 户 线 程 或 者 其 他 线程 发 起 的 注册 操作 ， 
则 将 注册 操作 封装 成 Runnable， 放 到 NioEventLoop 任 务 队列 中 执行 。 注 
m: 如 果 直 接 执行 register0 方 法 ， 会 存在 多 线程 并 发 操作 Channel 的 问 


jel 








图 16-40 AbstractUnsafe 的 register 方 法 


下 面 继续 看 register0 方 法 的 实现 ， 代 码 如 图 16-41 所 示 。 
图 16-41 ”AbstractUnsafe 的 register0 方 法 


首先 调用 ensureOpen 方 法 判断 当前 Channel 是 否 打开 ， 如 果 没 有 打开 
则 无 法 注册 ， 直 接 返 回 。 校 验 通过 后 调用 doRegister 方 法 ， 它 由 
AbstractNioUnsafe 对 应 的 AbstractNioChannel 实 现 ， 人 代码 如 图 16-42 所 
Ro 


图 16-42  AbstractNioChannelff]doRegister 77 7X: 


该 方法 在 前 面 的 AbstractNioChannel 源 码 分 析 中 已 经 介绍 过 ， 此 处 
不 再 袭 述 。 如 果 doRegister 方 法 没有 抛 出 异常 ， 则 说 明 Channel 注 册 成 
功 。 将 ChannelPromise 的 结果 设置 为 成 功 ， 调 用 ChannelPipeline 的 
fireChannelRegistered 方 法 ， 判 断 当 前 的 Channel 是 否 已 经 被 激活 ， 如 果 
已 经 被 激活 ， 则 调用 ChannelPipeline 的 fireChannelActive 方 法 。 


如 果 注 册 过 程 中 发 生 了 异常 ， 则 强制 关闭 连接 ， 将 异常 堆栈 信息 设 
置 到 ChannelPromise 中 。 


2. bind 方 法 
bind 方 法 主要 用 于 绑 定 指定 的 端口 ， 对 于 服务 端 ， 用 于 绑 定 监 听 端 


口 ， 可 以 设置 backlog 参 数 ， 对 于 客户 端 ， 主 要 用 于 指定 客户 端 Channel 
的 本 地 绑 定 Socket 地 址 。 代 码 实现 如 图 16-43 所 示 。 


图 16-43 “AbstractUnsafe 的 bind 方 法 实现 


调用 doBind 方 法 ， 对 于 NioSocketChannel 和 NioServerSocketChannel 


有 不 同 的 实现 ， 客 户 端的 实现 代码 如 图 16-44 所 示 。 


图 16-44 ”NioSocketChannel 的 doBind 方 法 实现 





服务 端的 doBind 方 法 实现 如 图 16-45 所 示 。 





图 16-45 ”NioServerSocketChannel 的 doBind 方 法 实现 


如 果 绑 定 本 地 端口 发 生 异 党 ， 则 将 异 筑 设置 到 ChannelPromise 中 用 
于 通知 ChannelFuture， 随 后 调用 closeIfClosed 方 法 来 关闭 Channel。 


3. disconnect 方 法 


disconnect 用 于 客户 端 或 者 服务 端 主动 关闭 连接 ， 它 的 代码 如 图 16- 
46 所 示 。 





图 16-46 ”AbstractUnsafe 的 disconnect 方 法 实现 





4. close 方 法 





在 链 路 关闭 之 前 需要 首先 判断 是 否 处 于 刷新 状态 ， 如 果 处 于 刷新 状 
态 说 明 还 有 消息 尚未 发 送出 去 ， 需 要 等 到 所 有 消 妃 发 送 完成 再 关闭 链 
路 ， 因 此 ， 将 关闭 操作 封装 成 Runnable 稍 后 再 执行 。 如 图 16-47 所 示 。 











图 16-47 ”AbstractUnsafe 的 close 方 法 片段 1 


如 果 链 路 没有 处 于 刷新 状态 ， 需 要 从 closeFuture 中 判断 关闭 操作 是 
个 完成 ， 如 果 已 经 完成 ， 不 需要 重复 关闭 链 路 ， 设 置 ChannelPromise 的 
操作 结果 为 成 功 并 返回 。 





执行 关闭 操 作 ， 将 消息 发 送 缓冲 数组 设置 为 空 ， 通 知 JVM 进 行内 存 
回收 。 调 用 抽象 方法 doClose 关 闭 链 路 。 源 码 如 图 16-48 所 示 。 





图 16-48 ”AbstractUnsafe 的 close 方 法 片段 2 


如 果 关 闭 操作 成 功 ， 设 置 ChannelPromise 结 果 为 成 功 。 如 果 操 作 失 
败 ， 则 设置 异常 对 象 到 ChannelPromise 中 。 


调用 ChannelOutboundBuffer 的 close 方 法 释放 绥 冲 区 的 消息 ， 随 后 构 
造 链 路 关闭 通知 Runnable 放 到 NioEventLoop 中 执行 。 源 码 如 图 16-49 所 
示 。 


> 
PA 








图 16-49 AbstractUnsafe 的 close 方 法 片段 3 


最 后 ， 调 用 deregister 方 法 ， 将 Channel 从 多 路 复 用 器 上 取消 注册 ， 
代码 实现 如 图 16-50 所 示 。 








图 16-50 ”AbstractUnsafe 的 close 方 法 片段 4 


NioEventLoop 的 cancel 方 法 实际 将 selectionKey 对 应 的 Channel 从 多 路 
复 用 器 上 去 注册 ，NioEventLoop 的 相关 代码 如 图 16-51 所 示 。 


图 16-51 取消 Channel 的 注册 





5. write 方法 











write 方法 实际 上 将 消息 添加 到 环形 发 送 数组 中 ， 并 不 是 真正 的 写 
Channel， 它 的 代码 如 图 16-52 所 示 。 


图 16-52” 写 操作 


如 果 Channel 没 有 处 于 激活 状态 ， 说 明 TCP 链 路 还 没有 真正 建立 成 
功 ， 当 前 Channel 存 在 以 下 两 种 状态 。 


(1) Channel 打 开 ， 但 是 TCP 链 路 尚未 建立 成 功 : 
NOT YET CONNECTED EXCEPTION; 


(2) Chanel Z$ 7H]: CLOSED CHANNEL EXCEPTION. 


对 链 路 状态 进行 判断 ， 给 ChannelPromise 设 置 对 应 的 异常 ， 然 后 调 
用 ReferenceCountUtil 的 release 方 法 释放 发 送 的 msg 对 象 。 


如 果 链 路 状态 正常 ， 则 将 需要 发 送 的 msg 和 promise 放 入 发 送 缓冲 区 
中 (环形 数组 ) 。 


6. flush 方 法 


flush 方 法 负责 将 发 送 缓冲 区 中 待 发送 的 消息 全 部 写 入 到 Channel 
中 ， 并 发 送 给 通信 对 方 。 它 的 代码 如 图 16-53 所 示 。 


图 16-53 ”刷新 操作 








首先 将 发 送 环形 数组 的 unflushed 指 针 修 改 为 tail， 标 识 本 次 要 发 送 
消息 的 缓冲 区 范围 。 然 后 调用 flush0 进 行 发 送 ， 由 于 ftush0 代 码 非 常 简 
单 ， 我 们 重点 分 析 doWrite 方 法 ， 代 码 如 图 16-54 所 示 。 








图 16-54 ”doWrite 方 法 代码 片段 1 


首先 计算 需要 发 送 的 消息 个 数 Cunflushed - flush) ， 如 果 只 有 1 个 
消息 需要 有 发送， 则 调用 父 类 的 写 操作 ， 我 们 分 析 AbstractNioByteChannel 
的 doWrite0 方 法 ， 代 码 如 网 16-55 所 示 。 


图 16-55 ”doWrite 方 法 代码 片段 2 





为 只 有 一 条 消息 需要 发 送 ， 所 以 直接 从 ChannelOutboundBuffer 中 
获取 当前 需要 发 送 的 消息 ， 代 码 如 图 16-56 所 示 。 











图 16-56 ”doWrite 方 法 代码 片段 3 





首先 ， 获 取 需 要 发 送 的 消息 ， 如 果 消 娠 为 ByteBuf 且 它 分 配 的 是 
JDK 的 非 堆 内 存 ， 则 直接 返回 。 对 返回 的 消息 进行 判断 ， 如 果 为 空 ， 说 
明 该 消息 已 经 发 送 完 成 并 被 回收 ， 然 后 执行 清空 OP_WRITE 操 作 位 的 
clearOpWrite 方 法 ， 代 码 如 图 16-57 所 示 。 


图 16-57 ”doWrite 方 法 代码 片段 4 











继续 向 下 分 析 ， 如 果 需 要 发 送 的 ByteBuf 已 经 没有 可 写 的 字 节 了 ， 
则 说 明 已 经 发 送 完成 ， 将 该 消息 从 环形 队列 中 删除 ， 然 后 继续 循环 ， 代 
码 如 图 16-58 所 示 。 





图 16-58 ”doWrite 方 法 代码 片段 5 





下 面 我 们 分 析 下 ChannelOutboundBuffer 的 remove 方 法 ， 如 图 16-59 
所 示 。 


图 16-59 ”doWrite 方 法 代码 片段 6 














首先 判断 环形 队列 中 是 否 还 有 需要 发 送 的 消息 ， 如 果 没 有 ， 则 直接 
返回 。 如 果 非 空 ， 则 首先 获取 Entry， 然 后 对 其 进行 资源 释放 ， 同 时 对 
需要 发 送 的 索引 flushed 进 行 更 新 。 有 所 有 操作 执行 完 之 后 ， 调 用 
decrementPendingOutboundBytes 减 去 已 经 发 送 的 字 节 数 ， 该 方法 跟 
incrementPendingOutboundBytes 类 似 ， 会 进行 发 送 低 水 位 的 判断 和 事件 


通知 ， 此 处 不 再 殉 述 。 


我 们 接着 继续 对 消息 的 发 送 进 行 分 析 ， 代 码 如 图 16-60 所 示 。 





图 16-60 ”doWrite 方 法 代码 片段 7 





首先 将 半 包 标识 设置 为 false， 从 DefaultSocketChannelConfig 中 获取 
循环 发 送 的 次 数 ， 进 行 循环 发 送 ， 对 发 送 方法 doWriteBytes 展 开 分 析 ， 
如 图 16-61 所 示 。 


图 16-61 ”doWrite 方 法 代码 片段 8 





ByteBuf 的 readBytes(0) 方 法 的 功能 是 将 当前 ByteBuf 中 的 可 写字 节 数 
组 写 入 到 指定 的 Channel 中 。 方 法 的 第 一 个 参数 是 Channel， 此 处 就 是 
SocketChannel， 第 二 个 参数 是 写 入 的 字 节 数组 长 度 ， 它 等 于 ByteBuf 的 
可 读 字 节 数 ， 返 回 值 是 写 入 的 字 节 个 数 。 由 于 我 们 将 SocketChannel 设 置 
为 异步 非 阻塞 模式 ， 所 以 写 操作 不 会 阻 罕 。 





从 写 操作 中 返回 ， 需 要 对 写 入 的 字 市 数 进行 判断 ， 如 采 为 0， 说 明 
TCP AIST Ud. AAEM A) TAS AAS, AEE, RSE 
识 设置 为 tue， 然 后 退出 循环 ， 执 行 后 续 排 队 的 其 他 任务 或 者 读 操作 ， 
等 竺 下 一 次 selector 的 轮 询 继续 触发 写 操 作 。 


对 写 入 的 字 节 数 进行 累加 ， 判 断 当 前 的 ByteBuf 中 是 否 还 有 没有 发 
送 的 字 节 ， 如 果 没 有 可 发 送 的 字 节 ， 则 将 done 设 置 为 true， 退 出 循环 。 


从 循环 发 送 状态 退出 后 ， 首 先 根 据 实 际 发 送 的 字 节 数 更 新 发 送 进 
度 ， 实 际 就 是 发 送 的 字 市 数 和 需要 发 送 的 字 市 数 的 一 个 比值 。 执 行 完 进 
度 更 新 后 ， 判 断 本 轮 循 环 是 人 否 将 需要 发 送 的 消 妃 全 部 发 送 完成 ， 如 果 发 
送 完成 则 将 该 消息 从 循环 队列 中 删除 ， 人 否则 ， 设 置 多 路 复 用 露 的 





OP _ WRITE 操作 位 ， 用 于 通知 Reactor 线 程 还 有 半 包 消息 需要 继续 发 送 。 
16.4.3 AbstractNioUnsafe #134 tr 


AbstractNioUnsafe 是 AbstractUnsafe 类 的 NIO 实 现 ， 它 主要 实现 了 
connect、finishConnect 等 方法 ， 下 面 我 们 对 重点 API 实 现 进行 源码 分 
析 。 





1. connect 方 法 





首先 获取 当前 的 连接 状态 进行 缓存 ， 然 后 发 起 连接 操作 ， 代 码 如 图 
16-62 所 示 。 





图 16-62 ”AbstractNioUnsafe 的 connect 方 法 代码 片段 1 


需要 指出 的 是 ，SocketChannel 执 行 connect() 操 作 有 三 种 可 能 的 结 
果 。 


(1) 连接 成 功 ， 返 回 true; 


(2) 暂时 没有 连接 上 ， 服 务 端 没有 返回 ACK 应 答 ， 连 接 结 果 不 确 
定 ， 返 回 false; 


(3) 连接 失败 ， 直 接 抛 出 IO 异常 。 


如 果 是 第 2) 种 结果 ， 需 要 将 NioSocketChannel 中 的 selectionKey 
设置 为 OP_CONNECT， 监 听 连 接应 答 消 息 。 


异步 连接 返回 之 后 ， 需 要 判断 连接 结果 ， 如 果 连 接 成 功 ， 则 触发 
ChannelActive 事 件 ， 代 码 如 图 16-63 所 示 。 





图 16-63  AbstractNioUnsafelf']connect7; 12:4 X 83 Hr Bt 2 


这 里 对 ChannelActive 事 件 处 理 不 再 进行 详细 说 明 ， 它 最 终 会 将 
NioSocketChannel 中 的 selectionKey 设 置 为 SelectionKey.OP_READ， 用 于 
监听 网 络 读 操 作 位 。 


如 采 没 有 立即 连接 上 服务 端 ， 则 执行 如 图 16-64 所 示 分 文 。 





图 16-64 AbstractNioUnsafe 的 connect 方 法 代码 片段 3 
上 面 的 操作 有 两 个 目的 。 


(1) 根据 连接 超时 时 间 设 置 定时 任务 ， 超 时 时 间 到 之 后 触发 校 
验 ， 如 果 发 现 连接 并 没有 完成 ， 则 关闭 连接 句柄 ， 释 放 资 源 ， 设 置 异 党 
堆栈 并 发 起 去 注册 。 

(2) 设置 连接 结果 监听 器 ， 如 果 接 收 到 连接 完成 通知 则 判断 连接 
古人 否 被 取消 ， 如 条 被 取消 则 关闭 连接 句柄 ， 释 放 资 源 ， 发 起 取消 注册 操 
作 。 


2. finishConnect 方 法 


客户 端 接收 到 服务 端的 TCP 握 手 应 答 消 息 ， 通 过 SocketChannel 的 
finishConnect 方 法 对 连接 结果 进行 判断 ， 代 码 如 图 16-65 所 示 。 


图 16-65 ”AbstractNioUnsafe 的 finishConnect 方 法 代码 片段 1 





首先 缓存 连接 状态 ， 当 前 返回 false， 然 后 执行 doFinishConnect 方 法 
判断 连接 结果 ， 代 码 如 图 16-66 所 示 。 


图 16-66 ”AbstractNioUnsafe 的 finishConnect 方 法 代码 片段 2 





通过 SocketChannel 的 finishConnect 方法 判断 连接 结果 ， 执 行 该 方法 
返回 三 种 可 能 结 


连接 成 功 返 回 true; 
° ees false; 
e AE HERR AMC IA, BERS PITS ay, ERR. 


只 要 连接 失败 ， 惑 抛 出 Error0， 由 调用 方 执行 句柄 关闭 等 资源 释放 
操作 ， 如 果 返 回 成 功 ， 则 执行 fulfillConnectPromise 方法 ， 它 负责 将 
SocketChannel 修 改 为 监听 读 操 作 位 ， 用 来 监听 网 络 的 读 事 件 ， 代 码 如 图 
16-67 Tz. 





图 16-67  AbstractNioUnsafef'JfulfillConnectPromise7] 17: 





最 后 对 连接 超时 进行 判断 : 如 果 连 接 超 时 时 仍然 没有 接收 到 服务 端 
的 ACK 应 答 消 息 ， 则 由 定时 任务 关闭 客户 端 连 接 ， 将 SocketChannel 从 
Reactor 线 程 的 多 路 复 用 器 上 摘除 ， 释 放 资 源 ， 代 码 如 图 16-68 所 示 。 


图 16-68 ”AbstractNioUnsafe 的 finishConnect 方 法 代码 片段 3 





16.4.4 ”NioByteUnsafe 源 码 分 析 
我 们 重点 分 析 它 的 read 方 法 ， 源 码 如 图 16-69 所 示 。 
图 16-69 ”NioByteUnsafe 的 read 方 法 代码 片段 1 


首先 ， 获 取 NioSocketChannel 的 SocketChannelConfig， 它 主要 用 于 
设置 客户 端 连 接 的 TCP 参 数 ， 接 口 如 图 16-70 所 示 。 


图 16-70 SocketChannelConfig If] API! X 


继续 看 allocHandle 的 初始 化 。 如 果 是 首次 调用 ， 从 
SocketChannelConfig 的 RecvByteBufAllocator 中 创建 Handle。 下 面 我 们 对 
RecvByteBufAllocator 进 行 简 单 地 代码 分 析 : RecvByteBufAllocator 默 认 
有 两 种 实现 ， 分 别 是 AdaptiveRecvByteBufAllocator 和 
FixedRecvByteBufAllocator. Hi FixedRecvByteBufAllocator ”的 实现 比 
较 简 单 ， 我 们 重点 分 析 AdaptiveRecvByteBufAllocator 的 实现 。 如 图 16- 
71 所 示 。 





图 16-71 ”RecvByteBufAllocator 接 口 的 继承 关系 


顾名思义 ，AdaptiveRecvByteBufAllocator 指 的 是 缓冲 区 大 小 可 以 动 
态 调 整 的 ByteBuf 分 配器 。 它 的 成 员 变 量 定义 如 图 16-72 所 示 。 




















图 16-72 ”RecvByteBufAllocator 的 成 员 变 量 定义 





它 分 别 定 义 了 三 个 系统 默认 值 : 最 小 缓冲 区 长 度 64 字 节 、 初 始 容量 
1024 字 节 、 最 大 容量 65536 字 节 。 还 定义 了 两 个 动态 调整 容量 时 的 步 进 
参数 : 扩张 的 步 进 索 引 为 4、 收 缩 的 步 进 索引 为 1。 





最 后 ， 定 义 了 长 度 的 向 量 表 SIZE_TABLE 并 初始 化 它 ， 初 始 值 如 图 
16-73 所 示 。 


图 16-73 ”SIZE_TABLE 的 扩张 





向 量 数组 的 每 个 值 都 对 应 一 个 Buffer 容 量 ， 当 容量 小 于 512 的 时 候 ， 
由 于 缓冲 区 已 经 比较 小 ， 需 要 降低 步 进 值 ， 容 量 每 次 下 调 的 幅度 要 小 
些 ; 当 大 于 512 时 ， 说 明 需 要 解码 的 消息 码 流 比较 大 ， 这 时 采用 调 大 步 
进 幅 度 的 方式 减少 动态 扩张 的 频率 ， 所 以 它 采 用 512 的 倍数 进行 扩张 。 








接 下 来 我 们 重点 分 析 下 AdaptiveRecvByteBufAllocator 的 方法 。 
方法 1: getSizeTableIndex(final int size)， 代 码 如 图 16-74 所 示 。 


图 16-74 ”获取 向 量 表 索 引 











根据 容量 Size 查 找 容量 疝 量 表 对 应 的 索引 一 一 这 是 个 典型 的 二 分 但 
找 法 ， 由 于 它 的 算法 非常 经 典 ， 也 比较 简单 ， 此 处 不 再 资 述 。 





下 面 我 们 分 析 下 它 的 内 部 静态 类 HandleImpl， 首 先 ， 还 是 看 下 它 的 
成 员 变 量 ， 如 图 16-75 所 示 。 


N 


图 16-75 ”HandleImpl 的 成 员 变 量 














它 有 5 个 成 员 变 量 ， 分 别 是 : MMAR BAS. BARS. 
当前 索引 、 下 一 次 预 分 配 的 Buffer 大 小 和 是否 立即 执行 容量 收缩 操作 。 


我 们 重点 分 析 它 的 record(int actualReadBytes) 方 法 : 当 
NioSocketChannel 执 行 完 读 操作 后 ， 会 计算 获得 本 次 轮 询 读 取 的 总 字 市 
数 ， 它 束 是 参数 actualReadBytes， 执 行 record 方 法 ， 根 据 实际 读 取 的 字 
节 数 对 ByteBuf 进 行动 态 伸 缩 和 扩张 ， 代 码 如 图 16-76 所 示 。 





图 16-76 ”ByteBuf 动 态 伸 缩 








首先 ， 对 当前 索引 做 步 进 缩减 ， 然 后 获取 收缩 后 索引 对 应 的 容量 ， 
与 实际 读 取 的 字 市 数 进行 比 对 ， 如 果 友 现 小 于 收缩 后 的 容量 ， 则 重新 对 
当前 索引 进行 赋值 ， 取 收缩 后 的 索引 和 最 小 索引 中 的 较 大 者 作为 最 新 的 
索引 。 然 后 ， 为 下 一 次 缓冲 区 容量 分 配 赋 值 一 一 新 的 索引 对 应 容量 问 量 
表 中 的 容量 。 相 反 ， 如 果 当 前 实际 读 取 的 字 节 数 大 于 之 前 预 分 配 的 初始 

















容量 ， 则 说 明 实 际 分 配 的 容量 不 足 ， 需 要 动态 扩张 。 重 新 计算 索引 ， 选 
取 当 前 索引 + 扩张 步 进 和 最 大 索引 中 的 较 小 作为 当前 索引 值 ， 然 后 对 下 
次 缓冲 区 的 容量 值 进行 重新 分 配 ， 完 成 缓冲 区 容量 的 动态 扩张 。 





通过 上 述 分 析 我 们 得 知 ，AdaptiveRecvByteBufAllocator 就 是 根据 本 
次 读 取 的 实际 字 节 数 对 下 次 接收 缓冲 区 的 容量 进行 动态 调整 。 








使 用 动态 缓冲 区 分 配 需 的 优点 如 下 。 


(1) Netty 作 为 一 个 通用 的 NIO 框 加， 并 不 对 用 户 的 应 用 场景 进行 
假设 ， 可 以 使 用 它 做 流 媒体 传输 ， 也 可 以 用 和 它 做 聊天 工具 。 不 同 的 应 用 
场景 ， 传 输 的 码 流 大 小 千差万别 ， 无 论 初始 化 分 配 的 是 32K 还 是 IM， 都 
会 随 着 应 用 场景 的 变化 而 变 得 不 适应 。 因 此 ，Netty 根 据 上 次 实际 读 取 
的 码 流 大 小 对 下 次 的 接收 Buffer 缓 冲 区 进行 预测 和 调整 ， 能 够 最 大 限度 
的 满足 不 同行 业 的 应 用 场景 。 











(2) 性 能 更 高 ， 容 量 过 大 会 导致 内 存 占 用 开销 增加 ， 后 续 的 Buffer 
处 理性 能 会 下 降 ， 容 量 过 小 时 需要 频 索 地 内 存 扩张 来 接收 大 的 请 求 消 
恩 ， 同 样 会 导致 性 能 下 降 。 





O 更 节约 内 存 。 假 如 通 第 情况 下 请 求 消息 平均 值 为 IM 左 右 ， 接 
收 缓冲 区 大 小 为 1.2M; 突然 某 个 客户 发 送 了 一 个 10M 的 流 媒体 附件 ， 接 
收 绥 冲 区 扩张 为 10M 以 接纳 该 附件 ， 如 末 绥 冲 区 不 能 收缩 ， 每 次 缓冲 区 
创建 都 会 分 配 10M 的 内 存 ， 但 是 后 续 所 有 的 消息 都 是 LIM 左右 ， 这 样 会 
导致 内 存 的 浪费 ， 如 末 并 友 客 户 端 过 多 ， 可 能 会 及 生 内 存 洲 出 ， 最 终 宕 
机 。 








看 完了 AdaptiveRecvByteBufAllocator， 我 们 继续 分 析 读 操作 。 


首先 通过 接收 缓冲 区 分 配器 的 Handler 计 算 获 得 下 次 预 分 配 的 缓冲 
区 容量 byteBufCapacity， 如 图 16-77 所 示 。 紧 接着 根据 绥 冲 区 容量 进行 绥 
冲 区 分 配 ，Netty 的 缓冲 区 种 类 很 多 ， 此 处 重点 介绍 的 是 消息 的 恋 取 ， 
因此 对 缓冲 区 不 展开 说 明 。 


图 16-77 ”NioByteUnsafe 的 read 方 法 代码 片段 2 


接收 缓冲 区 ByteBuf 分 配 完 成 后 ， 进 行 消息 的 异步 读 取 ， 人 代码 如 图 
16-78 所 示 。 


图 16-78 ”NioByteUnsafe 的 read 方 法 代码 片段 3 


它 是 个 抽象 方法 ， 具 体 实现 在 NioSocketChannel 中 ， 代 码 如 图 16-79 
所 示 。 


图 16-79 NioByteUnsafe 的 read 方 法 代码 片段 4 
其 中 javaChannel0 返 回 的 是 SocketChannel， 代 码 如 图 16-80 所 示 。 
图 16-80 NioByteUnsafe 的 read 方 法 代码 片段 5 


byteBuf.writableBytes() 返 回 本 次 可 读 的 最 大 长 度 ， 我 们 继续 展开 看 
最 终 是 如 何 从 Channel 中 读 取 码 流 的 ， 代 码 如 图 16-81 所 示 。 


图 16-81 NioByteUnsafe 的 read 方 法 代码 片段 6 
对 setBytes 方 法 展开 分 析 如 图 16-82 所 示 。 
图 16-82 ”NioByteUnsafe 的 read 方 法 代码 片段 7 


由 于 SocketChannel 的 read 方 法 参数 是 Java NIO 的 ByteBuffer， 上 所 以 ， 


需要 先 将 Netty 的 ByteBuf 转 换 成 JDK 的 ByteBuffer， 随 后 调用 ByteBuffer 
的 clear 方 法 对 指针 进行 重 置 用 于 新 消息 的 读 取 ， 随 后 将 position 指 针 指 到 
初始 读 index， 读 取 的 上 限 设置 为 index + 读 取 的 长 度 。 最 后 调用 read 方 法 
将 SocketChannel 中 束 绪 的 码 流 读 取 到 ByteBuffer 中 ， 完 成 消 轧 的 读 取 ， 
返回 读 取 的 字 节 数 。 





完成 消息 的 异步 读 取 后 ， 需 要 对 本 次 读 取 的 字 节 数 进行 判 断 ， 有 以 
下 三 种 可 能 : 


2) 返回 值 大 于 0， 读 到 了 消息 ; 





3) 返回 值 -1， 表 示 发 生 了 WO 异常 ， 读 取 失 败 。 





下 面 我 们 继续 看 Netty 的 后 续 处 理 ， 首 先 对 读 取 的 字 节 数 进行 判 
断 ， 如 果 等 于 或 者 小 于 0， 表 示 没 有 就 绪 的 消息 可 读 或 者 发 生 了 IO 异 
常 ， 此 时 需要 释放 接收 缓冲 区 ;如 果 读 取 的 字 节 数 小 于 0， 则 需要 将 
close 状 态 位 置 位 ， 用 于 关闭 连接 ， 释 放 句 柄 资源 。 置 位 完成 之 后 ， 退 出 
循环 。 源 码 如 图 16-83 所 示 。 





图 16-83 ”NioByteUnsafe 的 read 方 法 代码 片段 8 


完成 一 次 异步 读 之 后 ， 束 会 触发 一 次 ChannelRead 事 件 ， 这 里 要 特 
别提 醒 大 家 的 是 : 完成 一 次 读 操 作 ， 并 不 意味 着 读 到 了 一 条 完整 的 消 
轧 ， 因 为 TCP 底 层 存 在 组 包 和 粘 包 ， 所 以 ， 一 次 读 操 作 可 能 包含 多 条 消 
恩 ， 也 可 能 是 一 条 不 完整 的 消息 。 因 此 不 要 把 它 跟 读 取 的 消息 个 数 等 同 
起 来 。 在 没有 做 任何 半 包 处 理 的 情况 下 ， 以 ChannelRead 的 触发 次 数 做 
计数 器 来 进行 性 能 分 析 和 统计 ， 是 完全 错误 的 。 当 然 ， 如 果 你 使 用 了 半 











包 解 码 器 或 者 处 理 了 半 包 ， 就 能 够 实现 一 次 ChannelRead 对 应 一 条 完整 
的 消息 。 


触发 和 完成 ChannelRead 事 件 调 用 之 后 ， 将 接收 缓冲 区 释放 ， 代 码 
如 图 16-84 所 示 。 


图 16-84 ”NioByteUnsafe 的 read 方 法 代码 片段 9 
因为 一 次 读 操作 未 必 能 够 完成 TCP 绥 冲 区 的 全 部 读 取 工作 ， 所 以 ， 


读 操作 在 循环 体 中 进行 ， 每 次 读 取 操 作 完 成 之 后 ， 会 对 读 取 的 字 节 数 进 
行 累加 ， 代 码 如 图 16-85 所 示 。 








116-85 ”NioByteUnsafe 的 read 方 法 代码 片段 10 





在 累加 之 前 ， 需 要 对 长 度 上 限 做 保护 ， 如 果 累 计 读 取 的 字 节 数 已 经 
发 生 洲 出 ， 则 将 读 取 到 的 字 市 数 设 置 为 整 型 的 最 大 值 ， 然 后 退出 循环 。 
原因 是 本 次 循环 已 经 读 取 过 多 的 字 节 ， 需 要 退出 ， 人 否则 会 影响 后 面 排队 
的 Task 任 务 和 写 操作 的 执行 。 如 果 没 有 溢出 ， 则 执行 标 加 操作 。 代 人 码 如 
图 16-86 所 示 。 








图 16-86 ”NioByteUnsafe 的 read 方 法 代码 片段 11 








最 后 ， 对 本 次 读 取 的 字 节 数 进行 判断 ， 如 果 小 于 缓冲 区 可 写 的 容 
量 ， 说 明 TCP 绥 冲 区 已 经 没有 束 绪 的 字 节 可 读 ， 读 取 操 作 已 经 完成 ， 需 
要 退出 循环 。 如 果 仍 然 有 未 读 的 消 电 ， 则 继续 执行 读 操 作 。 连 续 的 读 操 
作 会 阻塞 排 在 后 面 的 任务 队列 中 竺 执行 的 Task， 以 及 与 操作 ， 所 以 ， 要 
对 连续 读 操 作 做 上 限 控制 ， 默 认 值 为 16 次 ， 无 论 TCP 缓 冲 区 有 多 少 码 流 
需要 读 取 ， 只 要 连续 16 次 没有 读 完 ， 都 需要 强制 退出 ， 等 待 下 次 selector 


轮 询 周 期 再 执行 。 如 图 16-87 所 示 。 


116-87 ”NioByteUnsafe 的 read 方 法 代码 片段 12 


完成 多 路 复 用 器 本 轮 读 操 作 之 后 ， 触 发 ChannelReadComplete 事 
件 ， 随 后 调用 接收 缓冲 区 容量 分 配器 的 Hanlder 的 记录 方法 ， 将 本 次 读 
取 的 总 字 节 数 传 入 到 record() 方 法 中 进行 缓冲 区 的 动态 分 配 ， 为 下 一 次 
读 取 选取 更 加 合适 的 绥 冲 区 容量 ， 代 码 如 图 16-88 所 示 。 








图 16-88 ”NioByteUnsafe 的 read 方 法 代码 片段 13 


上 面 我 们 提 到 ， 如 果 读 到 的 返回 值 为 -1， 表 明 发 生 了 IO 异常 ， 需 要 
关闭 连接 ， 释 放 资 源 ， 代 码 如 图 16-89 所 示 。 





图 16-89 ”NioByteUnsafe 的 read 方 法 代码 片段 14 


至此， 请 求 消息 的 录 步 读 取 源码 我 们 已 经 分 析 完 成 。 


16.5 总结 


本 章 介绍 了 Netty 最 重要 的 接口 之 一 一 Channel 的 设计 原理 和 功能 
列表 ， 并 对 其 主要 实现 子 类 NioSocketChannel 和 NioServerSocketChannel 
的 源码 进行 了 分 析 ， 涉 及 到 了 “ 半 包 读 ” 和 “ 半 包 写 ” 的 相关 知识 。 


由 于 Channel 的 很 多 1/O 操 作 都 是 通过 其 内 部 聚合 的 Unsafe 接 口 及 其 
子 类 实现 的 ， 如 果 不 清楚 Unsafe 相 关子 类 的 代码 实现 ， 也 就 无 法 真正 了 
解 清楚 Channel 的 实现 。 因 此 本 章节 对 Unsafe 的 相关 实现 也 进行 了 源码 分 
析 。 





事实 上 ，Channel 的 实现 子 类 还 有 很 多 ， 包 括 用 于 处 理 UDP 的 
DatagramChannel、 用 于 本 地 测试 的 EmbeddedChannel 等 。 限 于 和 篇幅， 本 
书 无 法 对 这 些 子 类 的 功能 和 源码 进行 一 一 枚 举 。 感 兴趣 的 读者 可 以 通过 
阅读 API 文 档 、 学 习 demo 和 源码 分 析 相 结合 的 方式 掌握 这 些 类 库 的 使 
用 。 





第 17 章 ChannelPipeline 和 
ChannelHandler 
Netty 的 ChannelPipeline 和 ChannelHandler 机 制 类 似 于 Servlet 和 Filter 


过 滤器 ， 这 类 拦截 器 实际 上 是 职责 链 模式 的 一 种 变形 ， 主 要 是 为 了 方便 
事件 的 拦截 和 用 户 业 务 逻 辑 的 定制 。 








Servlet Filter 是 JEE Web 应 用 程序 级 的 Java 代 码 组 件 ， 它 能 够 以 声明 
的 方式 插入 到 HTTP 请 求 啊 应 的 处 理 过 程 中 ， 用 于 拦截 请 求 和 啊 应 ， 以 
便 能 够 查看 、 提 取 或 以 某 种 方式 操作 正在 客户 端 和 服务 器 之 间 交 换 的 数 
据 。 拦 截 器 封装 了 业务 定制 逻辑 ， 能 够 实现 对 Web 应 用 程序 的 预 处理 和 
事后 处 理 。 





过 滤器 提供 了 一 种 面向 对 象 的 模块 化 机 制 ， 用 来 将 公共 任务 封装 到 
可 插入 的 组 件 中 。 这 些 组 件 通 过 Web 部 署 配置 文件 (web.xml) 进行 声 
明 ， 可 以 方便 地 添加 和 删除 过 滤器 ， 无 须 改 动 任何 应 用 程序 代码 或 JSP 
页 面 ， 由 Servlet 进 行动 态 调用 。 通 过 在 请 求 /响应 链 中 使 用 过 小 器， 可 以 
对 应 用 程序 (而 不 是 以 任何 方式 蔡 代 )〉 的 Servlet 或 JSP 页 面 提供 的 核心 
处 理 进行 补充 ， 而 不 破坏 Servlet 或 JSP 页 面 的 功能 。 由 于 是 纯 Java 实 现 ， 
所 以 Servlet 过 滤器 具有 跨 平 台 的 可 重用 性 ， 使 得 它们 很 容易 地 被 部 团 到 
任何 符合 Servlet 规 范 的 JEE 环 境 中 。 








Netty 的 Channel 过 滤器 实现 原理 与 Servlet Filter 机 制 一 致 ， 它 将 
Channel 的 数据 管道 抽象 为 ChannelPipeline， 消 息 在 ChannelPipeline 中 流 
动 和 传递 。ChannelPipeline 持 有 1/O 事 件 拦截 器 ChannelHandler 的 链表 ， 

由 ChannelHandler 对 IO 事件 进行 拦截 和 处 理 ， 可 以 方便 地 通过 新 增 和 删 





除 ChannelHandler 来 实现 不 同 的 业务 逻辑 定制 ， 不 需要 对 已 有 的 
ChannelHandler 进 行 修改 ， 能 够 实现 对 修改 封闭 和 对 扩展 的 支持 。 





下 面 我 们 对 ChannelPipeline 和 ChannelHandler， 以 及 与 之 相关 的 
ChannelHandlerContext 进 行 详细 介绍 和 源码 分 析 。 


本 章 主 要 内 容 包 括 : 


。 ChannelPipeline 功 能 说 明 
e ChannelPipeline 源 人 码 分 析 
。 ChannelHandler 功 能 说 明 
。 ChannelHandler 源 码 分 析 


17.1 ChannelPipeline 功 能 说 明 


ChannelPipeline 是 ChannelHandler 的 容 姻 ， 它 负责 ChannelHandler 的 
管理 和 事件 拦截 与 调度 。 


17.1.1 ”ChannelPipeline 的 事件 处 理 








图 17-1 展 示 了 一 个 消息 被 ChannelPipeline 的 ChannelHandler 链 拦截 和 
处 理 的 全 过 程 ， 消 息 的 读 取 和 发 送 处 理 全 流程 描述 如 下 。 




















图 17-1 ”ChannelPipeline 对 事件 流 的 拦截 和 处 理 流程 


(1) 底层 的 SocketChannel read0 方 法 读 取 ByteBuf， 触 发 
ChannelRead 事 件 ， 由 IO 线程 NioEventLoop 调 用 ChannelPipeline 的 
fireChannelRead(Object msg) 方 法 ， 将 消息 (ByteBuf) 传输 到 
ChannelPipeline 中 ; 


(2) 消息 依次 被 HeadHandler、ChannelHandler1、 
ChannelHandler2...... TailHandler 拦 截 和 处 理 ， 在 这 个 过 程 中 ， 任 何 
ChannelHandler 都 可 以 中 断 当 前 的 流程 ， 结 束 消息 的 传递 : 











(3) 调用 ChannelHandlerContext 的 write 方法 发 送 消息 ， 消 息 从 
TailHandler 开 始 ， 途 经 ChannelHandlerN......ChannelHandler1、 
HeadHandler， 最 终 被 添加 到 消息 发 送 绥 冲 区 中 等 竺 刷新 和 发 送 ， 在 此 
过 程 中 也 可 以 中 断 消 息 的 传递 ， 例 如 当 编 码 失 败 时 ， 就 需要 中 断 流 程 ， 
构造 异常 的 Future 返 回 。 


Netty 中 的 事件 分 为 inbound 事 件 和 outbound 事 件 。inbound 事 件 通常 


由 LO 线程 触发 ， 例 如 TCP 链 路 建立 事件 、 链 路 关闭 事件 、 读 事件 、 异 稼 
通知 事件 等 ， 它 对 应 图 17-1 的 左 半 部 分 。 


触发 inbound 事 件 的 方法 如 下 。 


(1) ChannelHandlerContext.fireChannelRegistered(): Channel 注 册 
事件 ; 


(2) ChannelHandlerContext.fireChannelActive(): ITCP 链 路 建立 成 
功 ，Channel 激 活 事件 ; 


(3) ChannelHandlerContext.fireChannelRead(Object): 读 事 件 ; 
(4) ChannelHandlerContext.fireChannelReadComplete(): 读 操 作 完 


成 通知 事件 ; 


EL Mu 


(5) ChannelHandlerContext.fireExceptionCaught(Throwable): >75 
通知 事件 ; 


(6) ChannelHandlerContext.fireUserEventTriggered(Object): HF 
目 定 义 事件 ; 


(7) ChannelHandlerContext.fireChannelWritabilityChanged(): 
Channel 的 可 写 状态 变化 通知 事件 ; 


(8) ChannelHandlerContext.fireChannellnactive(): TCP 连 接 关闭 ， 
链 路 不 可 用 通知 事件 。 


Outbound 事 件 通 常 是 由 用 户主 动 发 起 的 网 络 WO 操 作 ， 例 如 用 户 发 
起 的 连接 操作 、 绑 定 操 作 、 消 息 发 送 等 操作 ， 它 对 应 图 17-1 的 右 半 部 


触发 outbound 事 件 的 方法 如 下 : 


(1) ChannelHandlerContext.bind(SocketAddress, ChannelPromise): 
绑 定 本 地 地 址 事件 ; 


(2) ChannelHandlerContext.connect(SocketAddress, SocketAddress, 
ChannelPromise): 连接 服务 端 事件 ; 


(3) ChannelHandlerContext.write(Object, ChannelPromise): 发 送 事 
件 ; 


(4) ChannelHandlerContext.flush(): 刷新 事件 ; 
(5) ChannelHandlerContext.read(): 读 事 件 ; 


(6) ChannelHandlerContext.disconnect(ChannelPromise): Wi I EF 
事件 ; 


(7) ChannelHandlerContext.close(ChannelPromise): 关闭 当前 
Channel 事 件 。 


17.12 EHE X PS 


ChannelPipeline 通 过 ChannelHandler 接 口 来 实现 事件 的 拦截 和 处 理 ， 
由 于 ChannelHandler 中 的 事件 种 类 索 多 ， 不 同 的 ChannelHandler 可 能 只 需 
要 关心 其 中 的 某 一 个 或 者 几 个 事件 ， 所 以 ， 通 常 ChannelHandler 只 需要 
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例如 ， 下 面 的 例子 展示 了 拦截 Channel Active 事 件 ， 打 印 TCP 链 路 建 
立成 功 日 志 ， 人 代码 如 下 。 





public class MyInboundHandler extends ChannelHandlerAdapter { 
@Override 
public void channelActive(ChannelHandlerContext ctx) { 
System.out.println("TCP connected!"); 


ctx.fireChannelActive(); 





下 面 的 例子 展示 了 如 何在 链 路 关闭 的 时 候 释 放 资 源 ， 示 例 代码 如 
Ts 





public class MyOutboundHandler extends ChannelHandlerAdapter 
QOverride 
public void close(ChannelHandlerContext ctx,ChannelPr 
System.out.println("TCP closing .."); 
Object.release(); 


ctx.close(promise); 





17.1.3 ”构建 pipeline 


事实 上 ， 用 户 不 需要 自己 创建 pipeline， 因 为 使 用 ServerBootstrap 或 


者 Bootstrap 局 动 服务 端 或 者 客户 问 时 ，Netty 会 为 每 个 Channel 连 接 创建 
一 个 独立 的 pipeline。 对 于 使 用 者 而 言 ， 只 需要 将 目 定 义 的 拦截 器 加 入 
到 pipeline 中 即 可 。 相 关 的 代码 如 下 。 





pipeline = ch.pipeline(); 
pipeline.addLast("decoder", new MyProtocolDecoder()); 


pipeline.addLast("encoder", new MyProtocolEncoder()); 





对 于 类 似 编 解码 这 样 的 ChannelHandler， 它 存在 先后 顺序 ， 例 如 
MessageToMessage Decoder， 在 它 之 前 往往 需要 有 
ByteToMessageDecoder 将 ByteBuf 解 码 为 对 象 ， 然 后 对 对 象 做 二 次 解码 
得 到 最 终 的 POJO 对 象 。Pipeline 文 持 指 定位 置 添 加 或 者 删除 拦截 句 ， 相 
关 接 口 定 义 如 图 17-2 所 示 。 





图 17-2 ” 按 顺 序 添加 ChannelHandler 
17.1.4 ”ChannelPipeline 的 主要 特性 


ChannelPipeline 支 持 运 行 态 动态 的 添加 或 者 删除 ChannelHandler， 在 
某 些 场景 下 这 个 特性 非常 实用 。 例 如 当 业 务 高 峰 期 需要 对 系统 做 拥 窄 保 
护 时 ， 束 可 以 根据 当前 的 系统 时 间 进 行 判 断 ， 如 果 处 于 业务 高 峰 期 ， 则 
动态 地 将 系统 拥塞 保护 ChannelHandler 添 加 到 当前 的 ChannelPipeline 中 ， 
当 融 峰 期 过 去 之 后 ， 束 可 以 动态 删除 拥塞 保护 ChannelHandler J 。 


ChannelPipeline 是 线程 安全 的 ， 这 意味 着 N 个 业务 线程 可 以 并 发 地 
操作 ChannelPipeline 而 不 存在 多 线程 并 发 问题 。 但 是 ，ChannelHandler 却 
不 是 线程 安全 的 ， 这 意味 着 尽管 ChannelPipeline 是 线程 安全 的 ， 但 是 用 





户 仍然 需要 自己 保证 ChannelHandler 的 线程 安全 。 


17.2 ”ChannelPipeline 源 码 分 析 


ChannelPipeline 的 代码 相对 比较 简单 ， 它 实际 上 是 一 个 
ChannelHandler 的 容 峰 ， 内 部 维护 了 一 个 ChannelHandler 的 链表 和 从 代 
器 ， 可 以 方便 地 实现 ChannelHandler 查 找 、 添 加 、 蔡 换 和 删除 。 


17.2.1 ”ChannelPipeline 的 类 继承 关系 图 


ChannelPipeline 的 类 继承 关系 比较 简单 ， 如 图 17-3 所 示 。 





图 17-3 ”ChannelPipeline 类 继承 关系 图 
17.2.2 ”ChannelPipeline 对 ChannelHandler 的 管理 


ChannelPipeline 是 ChannelHandler 的 管理 容器 ， 人 负责 ChannelHandler 
的 查询、 添加 、 亚 换 和 删除 。 由 于 它 与 Map 等 容器 的 实现 非常 类 似 ， 所 
以 我 们 只 简单 抽取 新 增 接口 进行 源码 分 析 ， 其 他 方法 读者 可 以 自行 阅读 
和 分 析 。 在 ChannelPipeline 中 添加 ChannelHandler 方 法 如 图 17-4 所 示 。 








图 17-4 ”ChannelPipeline 添 加 ChannelHandler 方 法 


直接 调用 addBefore (ChannelHandlerInvoker invoker, String 
baseName, final String name, ChannelHandler handler) 方法 ， 代 码 如 图 
17-5ATA o 


图 17-5 ChannelPipeline|JaddBefore 77 17; 





由 于 ChannelPipeline 文 持 运行 期 动态 修改 ， 因 此 存在 两 种 潜在 的 多 
线程 并 发 访问 场景 。 


e IO 线程 和 用 户 业 务 线程 的 并 发 访问 ; 
。 用户 多 个 线程 之 间 的 并 发 访问 。 


为 了 保证 ChannelPipeline 的 线程 安全 性 ， 需 要 通过 线程 安全 容 喜 或 
者 锁 来 保证 并 发 访问 的 安全 ， 此 处 Netty 直 接 使 用 了 synchronized 关 键 
字 ， 保 证 同步 块 内 的 所 有 操作 的 原子 性 。 首 先 根据 baseName 获 取 它 对 应 
的 DefaultChannelHandlerContext，ChannelPipeline 维 护 了 ChannelHandler 
名 和 ChannelHandlerContext 实 例 的 映射 关系 ， 代 码 如 网 17-6 所 示 。 





图 17-6 ”ChannelPipeline 的 context 方 法 


对 新 增 的 ChannelHandler 名 进行 重复 性 校 验 ， 如 果 已 经 有 同名 的 
ChannelHandlerfr it, WIR, MH 
IllegalArgumentException("Duplicate handler name: " + name) o Beds 
通过 之 后 ， 使 用 新 增 的 ChannelHandler 等 参数 构造 一 个 新 的 
DefaultChannelHandlerContext 实 例 ， 代 码 如 图 17-7 所 示 。 





图 17-7 构造 新 的 DefaultChannelHandlerContext 实 例 


将 新 创建 的 DefaultChannelHandlerContext 添 加 到 当前 的 pipeline 中 ， 
代码 如 图 17-8 所 示 。 


图 17-8 添加 DefaultChannelHandlerContext 到 pipeline 


首先 需要 对 添加 的 ChannelHandlerContext 做 重复 性 校 验 ， 校 验 代码 
如 图 17-9 所 示 。 





图 17-9 ChannelHandlerContext 重 复 性 校 验 





如 果 ChannelHandlerContext 不 是 可 以 在 多 个 ChannelPipeline 中 共享 


的 ， 且 已 经 被 添加 到 ChannelPipeline 中 ， 则 抛 出 
ChannelPipelineException 异 常 。Handler 指 针 修改 如 图 17-10 所 示 。 





图 17-10 ”ChannelHandlerContext 位 置 指针 迁移 图 





加 入 成 功 之 后 ， 缓 存 ChannelHandlerContext， 发 送 新 增 
ChannelHandlerContext 通 知 消息 。 


17.2.3 ”ChannelPipeline 的 inbound 事 件 


当 发 生 某 个 IO 事件 的 时 候 ， 例 如 链 路 建立 、 链 路 关闭 、 读 取 操 作 
完成 等 ， 都 会 产生 一 个 事件 ， 事 件 在 pipeline 中 得 到 传播 和 处 理 ， 它 是 
事件 处 理 的 总 入 口 。 由 于 网 络 IO 相关 的 事件 有 限 ， 因 此 Netty 对 这 些 事 
件 进行 了 统一 抽象 ，Netty 自 里 和 用 户 的 ChannelHandler 会 对 感 兴 趣 的 事 
件 进 行 拦 截 和 处 理 。 








pipeline 中 以 fireXXX 命 名 的 方法 都 是 从 IO 线 程 流 加 用户 业务 Handler 
的 inbound 事 件 ， 它 们 的 实现 因 功 能 而 异 ， 但 是 处 理 步骤 类 似 ， 总 结 如 
Ts 


(1) 调用 HeadHandler 对 应 的 fireXXX 方 法 ; 
(2) 执行 事件 相关 的 逻辑 操作 。 


以 fireChannelActive 方 法 为 例 ， 调 用 head.fireChannelActive() 之 后 ， 
判断 当前 的 Channel 配 置 是 否 自动 读 取 ， 如 果 为 真 则 调用 Channel 的 read 
方法 ， 代 码 如 图 17-11 所 示 。 





图 17-11 fireChannelActive 方 法 


17.2.4 “ChannelPipeline 的 outbound 事 件 


由 用 户 线 程 或 者 代码 发 起 的 IO 操作 被 称 为 outbound 事 件 ， 事 实 上 
inbound 和 outbound 是 Netty 自 里 根据 事件 在 pipeline 中 的 流 同 抽象 出 来 的 
术语 ， 在 其 他 NIO 框 架 中 并 没有 这 个 概念 。 





inbound 事 件 相 关联 的 操作 如 图 17-12 所 示 。 











图 17-12 inbound 事件 相关 方法 


Pipeline 本 喘 并 不 直接 进行 IO 操作 ， 在 前 面 对 Channel 和 Unsafe 的 介 
绍 中 我 们 知道 最 终 都 是 由 Unsafe 和 Channel 来 实现 真正 的 IO 操作 的 。 
Pipeline 负 责 将 MO 事件 通过 TailHandler 进 行 调度 和 传播 ， 最 终 调 用 
Unsafe 的 1/O 方 法 进行 WO 操作 ， 相 关 代 码 实现 如 图 17-13 所 示 。 





图 17-13 ”pipeline 的 客户 端 连接 操作 


它 直 接 调 用 TailHandler 的 connect 方 法 ， 最 终 会 调用 到 HeadHandler 
的 connect 方 法 ， 代 人 码 如 图 17-14 所 示 。 


图 17-14 ”HeadHandler 的 connect 方 法 





最 终 由 HeadHandler 调 用 Unsafe 和 的 connect 方 法 发 起 真正 的 连接 ， 
pipeline 仅 仅 负 责 事 件 的 调度 。 


17.3 ”ChannelEHandler 功 能 说 明 


ChannelHandler 类 似 于 Servlet 的 Filter 过 滤器 ， 负 责 对 MO 事件 或 者 
IO 操作 进行 拦截 和 处 理 ， 它 可 以 选择 性 地 拦截 和 处 理 目 己 感 兴趣 的 事 
件 ， 也 可 以 透 传 和 终止 事件 的 传递 。 


基于 ChannelHandler 接 口 ， 用 户 可 以 方便 地 进行 业务 逻辑 定制 ， 例 
如 打印 日 志 、 统 一 封装 异常 信息 、 人 性 能 统计 和 消息 编 解 码 等 。 


ChannelHandler 支 持 注解 ， 目 前 支持 的 注解 有 两 种 。 


e Sharable: 多 个 ChannelPipeline 共 用 同一 个 ChannelHandler:; 
e Skip: 被 Skip 注 解 的 方法 不 会 被 调用 ， 直 接 被 忽略 。 


17.3.1 ChannelHandlerAdapter 功 能 说 明 


对 于 大 多 数 的 ChannelHandler 会 选择 性 地 拦截 和 处 理 某 个 或 者 某 些 
事件 ， 其 他 的 事件 会 急 略 ， 由 下 一 个 ChannelHandler 进 行 拦截 和 处 理 。 
这 束 会 导致 一 个 问题 ， 用户 ChannelHandler 必 须要 实现 ChannelHandler 的 
所 有 接口 ， 包 括 它 不 关心 的 那些 事件 处 理 接口 ， 这 会 导致 用 户 代 码 的 元 
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为 了 解决 这 个 问题 ，Netty 提 供 了 ChannelHandlerAdapter 基 类 ， 它 的 
所 有 接口 实现 都 是 事件 透 传 ， 如 果 用 户 ChannelHandler 关 心 某 个 事件 ， 
只 需要 和 窗 益 ChannelHandlerAdapter 对 应 的 方法 即 可 ， 对 于 不 关心 的 ， 可 
以 直接 继承 使 用 父 类 的 方法 ， 这 样子 类 的 代码 束 会 非常 简洁 和 清晰 。 前 
面 几 章 样 例 代 码 中 ， 我 们 的 ChannelHandler 都 是 直接 继承 目 
ChannelHandler Adapter， 开 发 起 来 非常 简单 和 高 效 。 





ChannelHandlerAdapter 相 关 的 代码 实现 如 网 17-15 所 示 。 


图 17-15 ”ChannelHandlerAdapter 源 码 


从 图 17-15 的 源码 中 我 们 发 现 这 些 透 传 方法 被 @Skip 注 解 了 ， 这 些 方 
法 在 执行 的 过 程 中 会 被 忽略 ， 直 接 跳 到 下 一 个 ChannelHandler 中 执行 对 
应 的 方法 。 


17.3.2 ByteToMessageDecoder 功 能 说 明 


利用 NIO 进 行 网 络 编程 时 ， 往 往 需 要 将 读 取 到 的 字 节 数组 或 者 字 节 
缓冲 区 解码 为 业务 可 以 使 用 的 POJO 对 象 。 为 了 方便 业务 将 ByteBuf 解 码 
成 业务 POJO 对 象 ，Netty 提 供 了 ByteToMessageDecoder 抽 象 工 具 解 人 码 


类 。 


用 户 的 解码 器 继承 ByteToMessageDecoder， 只 需要 实现 void 
decode (ChannelHandler Context ctx, ByteBuf in, List< Object> out) 抽象 
方法 即 可 完成 ByteBuf 到 POJO 对 象 的 解码 。 


由 于 ByteToMessageDecoder 并 没有 考虑 TCP 烙 包 和 组 包 等 场景 ， 读 
半 包 需要 用 户 解 码 器 自己 负责 处 理 。 正 因为 如 此 ， 对 于 大 多 数 场 景 不 会 
直接 继承 ByteToMessageDecoder， 而 是 继承 另外 一 些 更 高 级 的 解码 器 来 
屏蔽 半 包 的 处 理 ， 下 面 的 小 市 我 们 会 对 它们 进行 一 一 介绍 。 


17.3.3 ”MessageToMessageDecoder 功 能 说 明 


MessageToMessageDecoder 实 际 上 是 Netty 的 二 次 解码 器 ， 它 的 职责 
是 将 一 个 对 象 二 次 解码 为 其 他 对 象 。 


为 什么 称 它 为 二 次 解码 器 呢 ? 我 们 知道 ， 从 SocketChannel 读 取 到 的 





TCP 数 据 报 是 ByteBuffer， 实 际 就 是 字 节 数组 ， 我 们 首先 需要 将 
ByteBuffer 绥 冲 区 中 的 数据 报 读 取 出 来 ， 并 将 其 解码 为 Java 对 象 ， 然后 
对 Java 对 象 根据 某 些 规则 做 二 次 解码 ， 将 其 解码 为 男 一 个 POJO 对 和 象 。 
为 MessageToMessageDecoder 在 ByteToMessageDecoder 之 后 ， 所 以 称 之 
为 二 次 解码 器 。 





二 次 解码 器 在 实际 的 商业 项 目 中 非常 有 用 ， 以 HITP+XML 协 议 栈 
为 例 ， 第 一 次 解码 往往 是 将 字 节 数组 解码 成 HttpRequest 对 象 ， 然 后 对 
HttpRequest 消 息 中 的 消息 体 字 符 串 进行 二 次 解码 ， 将 XML 格式 的 字符 
串 解码 为 POJO 对 象 ， 这 就 用 到 了 二 次 解码 器 。 类 似 这 样 的 场景 还 有 很 
多 ， 不 再 一 一 枚 举 。 





事实 上 ， 做 一 个 超级 复杂 的 解码 器 将 多 个 解码 器 组 合成 一 个 大 而 全 
的 MessageTo MessageDecoder 解 码 器 似乎 也 能 解决 多 次 解码 的 问题 ， 但 
是 采用 这 种 方式 的 代码 可 维护 性 会 非常 差 。 例 如 ， 如 果 我 们 打算 在 
HTTP+XML 协 议 栈 中 增加 一 个 打印 码 流 的 功能 ， 即 首次 解码 获取 
HttpRequest 对 象 之 后 打印 XML 格 式 的 码 流 。 如 果 采 用 多 个 解码 器 组 
合 ， 在 中 间 插 入 一 个 打印 消息 体 的 Handler 即 可 ， 不 需要 修改 原 有 的 代 
码 ; 如 果 做 一 个 大 而 全 的 解码 器 ， 就 需要 在 解码 的 方法 中 增加 打印 码 流 
的 代码 ， 可 扩展 性 和 可 维护 性 都 会 变 差 。 











用 户 的 解码 器 只 需要 实现 void decode(ChannelHandlerContext ctx, I 
msg, List<Object> out) 抽 象 方 法 即 可 ， 由 于 它 是 将 一 个 POJO 解 码 为 另 
一 个 POJO， 所 以 一 般 不 会 涉及 到 半 包 的 处 理 ， 相 对 于 
ByteToMessageDecoder 更 加 简单 些 。 


17.3.4 LengthFieldBasedFrameDecoder 功 能 说 明 


在 编 解 码 章节 我 们 讲 过 TCP 的 粘 包 导致 解码 的 时 候 需 要 考虑 如 何 处 
理 半 包 的 问题 ， 前 面 介绍 了 Netty 提 供 的 半 包 解码 器 
LineBasedFrameDecoder 和 DelimiterBased FrameDecoder， 现 在 我 们 继续 
学 习 第 三 种 最 通用 的 半 包 解码 器 





LengthFieldBasedFrameDecoder. 


Afr X4 — AB, J RB 


固定 长 度 ， 例 如 每 120 个 字 节 代表 一 个 整 包 消 轧 ， 不 足 的 前 面 补 
零 。 解 码 器 在 处 理 这 类 定 第 消息 的 时 候 比 较 简单 ， 每 次 读 到 指定 长 
度 的 字 节 后 再 进行 解码 。 

通过 回 车 换行 符 区 分 消息 ， 例 如 FTP 协 议 。 这 类 区 分 消息 的 方式 多 
用 于 文本 协议 。 

。 通过 分 隔 符 区 分 整 包 消息 。 

。 通过 指定 长 度 来 标识 整 包 消 筷 。 














如 果 消 息 是 通过 长 度 进行 区 分 的 ，LengthFieldBasedFrameDecoder 
都 可 以 自动 处 理 粘 包 和 半 包 问题 ， 只 需要 传 入 正确 的 参数 ， 即 可 轻松 搞 
定 “ 读 半 包 ”问题 。 


下 面 我 们 看 看 如 何 通 过 参数 组 合 的 不 同 来 实现 不 同 的 “ 半 包 ?该 取 策 
略 。 第 一 种 常用 的 方式 是 消 妃 的 第 一 个 字段 是 长 度 字 段 ， 后 面 是 消息 
体 ， 消 奶头 中 只 包含 一 个 长 度 字段 。 它 的 消息 结构 定义 如 图 17-16 所 
示 。 














图 17-16 ”解码 前 的 字 节 缓冲 区 (14 字 节 ) 








使 用 以 下 参数 组 合 进 行 解码 。 


e lengthFieldOffset = 0; 


e lengthFieldLength = 2; 
e lengthAdjustment = 0; 
e initialBytesToStrip = 0. 


解码 后 的 字 市 缓冲 区 内 容 如 图 17-17 所 示 。 





图 17-17 包含 消息 长 度 字 段 (14 字 节 ) 





因为 通过 ByteBuf.readableBytes(0) 方 法 我 们 可 以 获取 当前 消息 的 长 
度 ， 所 以 解码 后 的 字 节 缓冲 区 可 以 不 携带 长 上 度 字 段 ， 由 于 长 度 字 段 在 起 
始 位 置 并 且 长 度 为 2， 所 以 将 initialBytesToStrip 设 置 为 2， 参 数组 合 修改 
A: 





e lengthFieldOffset = 0; 
e lengthFieldLength = 2; 
e lengthAdjustment = 0; 
e initialBytesToStrip = 2. 


解码 后 的 字 市 缓冲 区 内 容 如 图 17-18 所 示 。 


图 17-18” 仪 包含 消息 体 (12 字 节 ) 





从 图 17-18 的 解码 结果 看 ， 解 码 后 的 字 节 缓冲 区 丢弃 了 长 度 字 段 ， 
仅仅 包含 消息 体 ， 不 过 通过 ByteBuf.readableBytes(0) 方 法 仍然 能 够 获取 到 
长 度 字 段 的 值 。 


在 大 多 数 的 应 用 场景 中 ， 长 度 仅 用 来 标识 消息 体 的 长 度 ， 这 类 协议 
通常 由 消息 长 度 字 段 + 消息 体 组 成 ， 如 图 17-18 所 示 的 例子 。 但 是 ， 对 于 
一 些 协议 ， 长 度 还 包含 了 消息 头 的 长 度 。 在 这 种 应 用 场景 中 ， 往 往 需要 
使 用 lengthAdjustment 进 行 修正 ， 修 正 后 的 参数 组 合 方式 如 下 。 由 于 整个 








消息 的 长 度 往往 都 大 于 消息 体 的 长 度 ， 所 以 ，lengthAdjustment 为 负数 ， 
图 17-19 展 示 了 通过 指定 lengthAdjustment 字 段 来 包含 消息 头 的 长 度 。 





e lengthFieldOffset = 0; 
e lengthFieldLength = 2; 
e lengthAdjustment = -2; 
e initialBytesToStrip = 0. 





图 17-19 包含 消息 头 长 度 的 解码 


由 于 协议 种 类 繁多 ， 并 不 是 所 有 的 协议 都 将 长 度 字段 放 在 消息 头 的 
首位 ， 当 标识 消息 长 度 的 字段 位 于 消息 头 的 中 间或 者 尾部 时 ， 需 要 使 用 
lengthFieldOffset 字 段 进 行 标识 ， 下 面 的 参数 组 合 给 出 了 如 何 解 决 消 息 长 
度 字 段 不 在 首位 的 问题 。 

















e lengthFieldOffset = 2 

e lengthFieldLength = 3; 
e lengthAdjustment = 0; 
e initialBytesToStrip = 0. 








图 17-20 ”通过 定义 长 度 偏 移 量 解 决 长 度 字段 不 在 首位 的 问题 





由 于 消息 头 1 的 长 度 为 2， 所 以 长 度 字段 的 俩 移 量 为 2， 消 息 长 度 字 
段 Length 为 3， 所 以 lengthFieldLength 值 为 3。 由 于 长 度 字段 仅仅 标识 消 
息 体 的 长 度 ， 所 以 lengthAdjustment 和 initialBytesToStrip 都 为 0。 





最 后 一 种 场景 是 长 度 字段 夹 在 两 个 消息 头 之 间或 者 长 度 字段 位 于 消 
息 头 的 中 间 ， 前 后 都 有 其 他 消息 头 字段 ， 在 这 种 场景 下 如 果 想 忽 咯 长 度 
字段 以 及 其 前 面 的 其 他 消息 头 字段 ， 则 可 以 通过 initialBytesToStrip 参 数 





来 跳 过 要 忽略 的 字 贡 长 度 ， 筷 的 组 合 效果 如 下 。 


lengthFieldOffset = 1; 
e lengthFieldLength = 2; 
e lengthAdjustment = 1; 
e initialBytesToStrip = 3. 





图 17-21 initialBytesToStrip 参 数 的 使 用 


首先 ， 由 于 HDR1 的 长 度 为 1， 所 以 长 度 字段 的 偶 移 量 
lengthFieldOffset/j1; 长 度 字 段 为 2 个 字 节 ， 所 以 lengthFieldLength 为 2。 
由 于 长 度 字 段 是 消息 体 的 长 度 ， 解 码 后 如 果 携 带 消 息 头 中 的 字段 ， 则 需 
要 使 用 lengthAdjustment 进 行 调整 ， 此 处 它 的 值 为 1!， 表 示 的 是 HDR2 的 
长 度 ， 最 后 由 于 解码 后 的 缓冲 区 要 忽略 长 度 字 段 和 HDR1 部 分 ， 所 以 
lengthAdjustment 为 3。 人 解码 后 的 结果 为 13 个 字 节 ，HDR1 和 Length 字 上 段 被 








事实 上 ， 通 过 4 个 参数 的 不 同 组 合 ， 可 以 达到 不 同 的 解码 效果 ， 用 
户 在 使 用 过 程 中 可 以 根据 业务 的 实际 情况 进行 灵活 调整 。 








由 于 TCP 存 在 粘 包 和 组 包 问 题 ， 所 以 通常 情况 下 必须 上 自己 处 理 半 包 
消息 。 利 用 LengthFieldBasedFrameDecoder 解 码 器 可 以 自动 解决 半 包 问 
题 ， 它 通常 的 用 法 如 下 。 





pipeline.addLast("frameDecoder", new LineBasedFrameDecoder(80 


pipeline.addLast("stringDecoder", new StringDecoder(CharsetUt 





在 pipeline 中 增加 LineBasedFrameDecoder 解 码 器 ， 指 定 正 确 的 参数 


组 合 ， 它 可 以 将 Netty 的 ByteBuf 解 码 成 单个 的 整 包 消 息 ， 后 面 的 业务 解 
码 器 拿 到 的 就 是 个 完整 的 数据 报 ， 正 种 进行 解码 即 可 ， 不 再 需要 额外 考 
碟 * 读 半 包 ?问题 ， 方 便 了 业务 消 恩 的 解码 。 





17.3.5 ”MessageToByteEncoder 功 能 说 明 


MessageToByteEncoder 负 责 将 POJO 对 象 编码 成 ByteBuf， 用 户 的 编 
14382 7KMessage ToByteEncoder， 实 现 void 
encode(ChannelHandlerContext ctx, I msg, ByteBuf out) 接 口 接口 ， 示 例 代 
码 如 下 。 





public class IntegerEncoder extends MessageToByteEncoder<Inte 
@Override 
public void encode(ChannelHandlerContext ctx, Integer m 
throws Exception { 


out.writeInt(msg); 





17.3.6 “MessageToMessageEncoder 功 能 说 明 


将 一 个 POJO 对 象 编码 成 男 一 个 对 象 ， 以 HTTP+XML 协 议 为 例 ， 它 
的 一 种 实现 方式 是 : 先 将 POJO 对 象 编码 成 XML 字符 串 ， 再 将 字符 串 编 
码 为 HTTP 请 求 或 者 应 答 消 息 。 对 于 复杂 协议 ， 往 往 需 要 经 历 多 次 编 
码 ， 为 了 便于 功能 扩展 ， 可 以 通过 多 个 编码 器 组 合 来 实现 相关 功能 。 





用 户 的 解码 器 继承 MessageToMessageEncoder 解 码 器 ， 实 现 void 


encode(Channel HandlerContext ctx, I msg, List<Object> out) 方 法 即 可 。 注 
意 ， 它 与 MessageToByteEncoder 的 区 别 是 输出 是 对 象 列表 而 不 是 
ByteBuf， 示 例 代 码 如 下 。 





public class IntegerToStringEncoder extends MessageToMessage 
{ 
@Override 
public void encode(ChannelHandlerContext ctx, Integ 
List<Object> out) 


throws Exception 


out.add(message.toString()); 





17.3.7 LengthFieldPrepender 功 能 说 明 


如 果 协 议 中 的 第 一 个 字段 为 长 度 字 段 ，Netty 提 供 了 
LengthFieldPrepender 编 码 器 ， 它 可 以 计算 当前 答 发 送 消 奶 的 二 进 制 字 节 
长 度 ， 将 该 长 度 添 加 到 ByteBuf 的 缓冲 区 头 中 ， 如 图 17-22 所 示 。 














图 17-22 ”LengthFieldPrepender 编 码 器 





通过 LengthFieldPrepender 可 以 将 待 发 送 消 恩 的 长 度 写 入 到 ByteBuf 
的 前 2 个 字 节 ， 编 码 后 的 消息 组 成 为 长 度 字段 + 原 消 息 的 方式 。 











通过 设置 LengthFieldPrepender 为 tue， 消 乱 长 度 将 包含 长 上 度 本 里 占 


用 的 字 节 数 ， 打 开 LengthFieldPrepender 后 ， 图 17-22 示 例 中 的 编码 结果 
如 图 17-23 所 示 。 





图 17-23 ”打开 LengthFieldPrepender 开 关 后 的 编码 结 

















17.4 ChannelHandlerj/515^) Jr 
17.4.4 ”ChannelHandler 的 类 继承 关系 图 


相对 于 ByteBuf 和 Channel，ChannelHandler 的 类 继承 关系 稍微 简单 
些 ， 但 是 它 的 子 类 非常 多 。 由 于 ChannelHandler 是 Netty 框 架 和 用 户 代 码 
的 主要 扩展 和 定制 点 ， 所 以 它 的 子 类 种 类 繁多 、 功 能 各 异 ， 系 统 


ChannelHandler 主 要 分 类 如 下 。 





e ChannelPipeline 的 系统 ChannelHandler， 用 于 VO 操作 和 对 事件 进行 
预 处 理 ， 对 于 用 户 不 可 见 ， 这 类 ChannelHandler 主 要 包括 
HeadHandler 和 TailHandler:; 

o 编 解码 ChannelHandler， 包 括 ByteToMessageCodec、 
MessageToMessageDecoder 等 ， 这 些 编 解码 类 本 里 义 包 含 多 种 子 
类 ， 如 图 17-24 所 示 。 





图 17-24 ” 编 解 码 ChannelHandler 

















图 17-24 ” 编 解 码 ChannelHandler 子 类 继承 关系 图 




















e 其 他 系统 功能 性 ChannelHandler， 包 括 流量 整 型 Handler、 读 写 超 时 


Handler、 日 志 Handler 等 。 
本 章节 仅 给 出 讲解 到 的 编 解 码 类 ， 其 他 不 再 一 一 枚 举 。 
17.4.2 ByteToMessageDecoder}) 154) Hr 


顾名思义 ，ByteToMessageDecoder 解 码 器 用 于 将 ByteBuf 解 码 成 
POJO 对 象 ， 下 面 一 起 看 它 的 实现 。 


首先 看 channelRead 方 法 的 源码 ， 如 图 17-25 所 示 。 
图 17-25 ”ByteToMessageDecoder 的 channelRead 方 法 


首先 判断 需要 解码 的 msg 对 象 是 否 是 ByteBuf， 如 下 是 ByteBuf 才 二 
要 进行 解码 ， 否 则 直接 透 传 。 











通过 cumulation 是 否 为 空 判断 解码 器 是 否 缓存 了 没有 解码 完成 的 半 
包 消 息 ， 如 果 为 空 ， 说 明 是 首次 解 但 或 者 最 近 一 次 已 经 处 理 完 了 半 包 消 
上 息 ， 没 有 缓存 的 半 包 消息 需要 处 理 ， 直 接 将 需要 解码 的 ByteBuf 赋 值 给 
cumulation; 如 果 cumulation 绥 存 有 上 次 没有 解码 完成 的 ByteBuf， 则 进 
行 复 制 操 作 ， 将 需要 解码 的 ByteBuf 复 制 到 cumulation 中 ， 它 的 原理 如 
Ta 








半 包 解码 前 : CEW E. 1-7 cumulation.readableBytes() ) 


半 包 解码 后 : 〈 半 包 消 息 2= msg.readableBytes() ) 





在 复制 之 前 需要 对 cumulation 的 可 写 缓冲 区 进行 判断 ， 如 果 不 足 则 
需要 动态 扩展 ， 扩 展 的 代码 如 图 17-26 所 示 。 








图 17-26 ”ByteToMessageDecoder 的 expandCumulation 方 法 





扩展 的 代码 很 简单 ， 利 用 字 节 缓冲 区 分 配器 重新 分 配 一 个 新 的 
ByteBuf， 将 老 的 cumulation 复 制 到 新 的 ByteBuf 中 ， 释 放 cumulation。 需 
要 注意 的 是 ， 此 处 内 存 扩展 没有 采用 倍增 或 者 步 进 的 方式 ， 分 配 的 缓冲 
区 恰恰 够 用 ， 此 处 的 算法 可 以 优化 下 ， 以 防止 连续 半 包 导致 的 频繁 绥 冲 
区 扩张 和 内 存 复制 。 





复制 操作 完成 之 后 释放 需要 解码 的 ByteBuf 对 象 ， 调 用 callDecode 方 


法 进行 解码 ， 代 码 如 图 17-27 所 示 。 
图 17-27 ByteToMessageDecoder 的 callDecode 方 法 


对 ByteBuf 进 行 循 环 解码 ， 循 环 的 条 件 是 解码 缓冲 区 对 象 中 有 可 读 
的 字 节 ， 调 用 抽象 decode 方 法 ， 由 用 户 的 子 类 解码 器 进行 解码 ， 方 法 定 
义 如 图 17-28 所 示 。 








图 17-28 ”ByteToMessageDecoder 的 decode 抽 象 方法 


解码 后 需要 对 当前 的 pipeline 状 态 和 解码 结果 进行 判断 ， 代 码 如 图 
17-29 所 示 。 





图 17-29 ”ByteToMessageDecoder 的 callDecode 方 法 


如 果 当 前 的 ChannelHandlerContext 已 经 被 移 除 ， 则 不 能 继续 进行 解 
码 ， 直 接 退 出 循环 ， 如 果 输 出 的 out 列 表 长 度 没 变 化 ， 说 明 解 码 没有 成 
功 ， 需 要 针对 以 下 不 同 场景 进行 判断 。 





1) 如 果 用 户 解码 器 没有 消费 ByteBuf， 则 说 明 是 个 半 包 消息 ， 需 要 
由 IO 线程 继续 读 取 后 续 的 数据 报 ， 在 这 种 场景 下 要 退出 循环 。 





2) 如 果 用 户 解码 器 消费 了 ByteBuf， 说 明 可 以 解码 可 以 继续 进行 。 


从 图 17-29 所 示人 代码 可 以 看 出 ， 业 务 解 码 器 需要 遵守 Netty 的 某 些 契 
约 ， 解 码 堪 才能 正常 工作 ， 人 否则 可 能 会 导致 功能 错误 ， 最 重要 的 契约 吏 
Fe: 如 果 业 务 解码 器 认为 当前 的 字 节 绥 冲 区 无 法 完成 业务 层 的 解码 ， 雷 
要 将 readIndex 复 位 ， 告 诉 Netty 解 码 条 件 不 满足 应 当 退 出 解码 ， 继 续 读 
取 数 据 报 。 





3) 如 果 用 户 解码 器 没有 消费 ByteBuf， 但 是 却 解码 出 了 一 个 或 者 多 
个 对 象 ， 这 种 行为 被 认为 是 非法 的 ， 需 要 抛 出 DecoderException 异 常 。 





4) 最 后 通过 isSingleDecode 进 行 判 断 ， 如 果 是 单条 消 乱 解码 器 ， 第 
一 次 解码 完成 之 后 就 退出 循环 。 


17.4.3 ”IMessageToMessageDecoder 源 码 分 析 


MessageToMessageDecoder 负 责 将 一 个 POJO 对 象 解码 成 男 一 个 
POJO 对 象 ， 下 面 一 起 看 下 它 的 源码 实现 。 


首先 看 channelRead 方 法 的 源码 ， 如 图 17-30 所 示 。 








图 17-30 ”MessageToMessageDecoder 的 channelRead 方 法 


先 通 过 RecyclableArrayList 创 建 一 个 新 的 可 循环 利用 的 
RecyclableArrayList， 然 后 对 解码 的 消息 类 型 进行 判断 ， 通 过 类 型 参数 
校 验 器 看 是 否 是 可 接收 的 类 型 ， 如 果 是 则 校 验 通过 ， 参 数 类 型 校 验 的 代 
码 如 图 17-31 所 示 。 








图 17-31 MessageToMessageDecoder 的 参数 校 验 





校 验 通过 之 后 ， 直 接 调用 decode 抽 象 方法 ， 由 具体 实现 子 类 进行 消 
娠 解码 ， 解 码 抽象 方法 定义 如 图 17-32 所 示 。 


图 17-32 ”MessageToMessageDecoder 的 抽象 decode 方 法 定义 


解码 完成 之 后 ， 调 用 ReferenceCountUtil 的 release 方 法 来 释放 被 解码 
msg Xf A 


如 果 需 要 解码 的 对 象 不 是 当前 解码 器 可 以 接收 和 处 理 的 类 型 ， 则 将 
它 加 入 到 RecyclableArrayList 中 不 进行 解码 。 


最 后 ， 对 RecyclableArrayList 进 行 遍历 ， 循 环 调用 
ChannelHandlerContext 的 fireChannelRead 方 法 ， 通 知 后 续 的 
ChannelHandler 继 续 进 行 处 理 。 循 环 通知 完成 之 后 ， 通 过 recycle 方 法 释 
放 RecyclableArrayList 对 象 。 


17.4.4 LengthFieldBasedFrameDecoder?/ £4 ) T 
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包 解 码 器 ， 首 先 看 它 的 入 口 方法 ， 源 码 如 图 17-33 所 示 。 














图 17-33 ”LengthFieldBasedFrameDecoder 的 decode 方 法 


调用 内 部 的 decode(ChannelHandlerContext ctx, ByteBuf in) 方 法 ， 如 
果 解 码 成 功 ， 将 其 加 入 到 输出 的 List< Object> out 列 表 中 。 


下 面 继续 看 decode(ChannelHandlerContext ctx, ByteBuf in) 的 实现 ， 
如 图 17-34 所 示 。 


图 17-34 ”LengthFieldBasedFrameDecoder 的 decode 方 法 片段 1 














判断 discardingTooLongFrame 标 识 ， 看 是 否 需 要 丢弃 当前 可 读 的 字 
节 缓 冲 区 ， 如 果 为 真 ， 则 执行 丢弃 操作 ， 具 体 如 下 。 














判断 需要 丢弃 的 字 节 长 度 ， 由 于 丢弃 的 字 节 数 不 能 大 于 当前 缓冲 区 
可 读 的 字 节 数 ， 所 以 需要 通过 Math.min(bytesToDiscard， 
in.readableBytesO) 函 数 进 行 选 择 ， 取 bytesToDiscard 和 缓冲 区 可 该 字 节 数 
之 中 的 最 小 值 。 计 算 获 取 需 要 丢弃 的 字 市 数 之 后 ， 调 用 ByteBuf 的 





skipBytes 方 法 跳 过 需要 忽略 的 字 贡 长度， 然后 bytesToDiscard 减 去 已 经 
忽略 的 字 节 长 度 。 最 后 判断 是 否 已 经 达到 需要 忽略 的 字 节 数 ， 达 到 的 话 
对 discardingTooLongFrame 等 进行 置 位 ， 代 码 如 网 17-35 所 示 。 





图 17-35 ”LengthFieldBasedFrameDecoder 的 failIfNecessary 方 法 





对 当前 缓冲 区 的 可 读 字 节 数 和 长 度 偏 移 量 进行 对 比 ， 如 果 小 于 长 度 
偏 移 量 ， 则 说 明 当 前 缓冲 区 的 数据 报 不 够 ,需要 返回 空 ， 由 IO 线程 继 
续 读 取 后 续 的 数据 报 。 如 图 17-36 所 示 。 


图 17-36 ”LengthFieldBasedFrameDecoder 的 decode 方 法 片段 2 


通过 读 索 引 和 1lengthFieldoOffset 计 算 获 取 实 际 的 长 度 字 段 索 引 ， 然 后 
通过 索引 值 获取 消息 报 文 的 长 度 字 段 ， 代 码 如 图 17-37 所 示 。 


图 17-37 LengthFieldBasedFrameDecoderf'JgetUnadjustedFrameLength 77 17; 








根据 长 度 字 段 目 身 的 字 节 长 度 进 行 判断 ， 共 有 以 下 6 种 可 能 的 取 
值 。 





长 度 所 占 字 节 为 1， 通 过 ByteBuf 的 getUnsignedByte 方 法 获取 长 度 
值 ; 

长 度 所 占 字 市 为 2， 通 过 ByteBuf 的 getUnsignedShort 方 法 获取 长 度 
值 ; 

长 度 所 占 字 市 为 3， 通 过 ByteBuf 的 getUnsignedMedium 方 法 获取 长 
度 值 ; 

长 度 所 占 字 市 为 4， 通 过 ByteBuf 的 getUnsignedInt 方 法 获取 长 度 值 ; 
长 度 所 占 字 节 为 8， 通 过 ByteBuf 的 getLong 方 法 获取 长 度 值 ; 

其 他 长 度 不 支持 ， 抛 出 DecoderException 异 常 。 











获取 长 度 之 后 ， 就 需要 对 长 度 进行 合法 性 判断 ， 同 时 根据 其 他 解码 
参数 进行 长 度 调整 ， 代 码 如 图 17-38 所 示 。 


图 17-38 ”LengthFieldBasedFrameDecoder 的 decode 方 法 片段 3 


如 果 长 度 小 于 0， 说 明报 文 非法 ， 跳 过 lengthFieldEndOffset 个 字 节 ， 
抛 出 Corrupted FrameException 异 常 。 


根据 lengthFieldEndOffset 和 lengthAdjustment 字 段 进 行 长 度 修 正 ， 如 
果 修 正 后 的 报 文 长 度 小 于 lengthFieldEndOffset， 则 说 明 是 非法 数据 报 ， 


需要 抛 出 CorruptedFrameException 异 常 。 





如 果 修 正 后 的 报 文 长 度 大 于 ByteBuf 的 最 大 容量 ， 说 明 接 收 到 的 消 
轧 长 度 大 于 系统 允许 的 最 大 长 度 上 限 ， 需 要 设置 
discardingTooLongFrame， 计 算 需 要 丢弃 的 字 节 数 ， 根 据 情 况 选择 是 否 
需要 抛 出 解码 异种 。 








丢弃 的 策略 如 下 : frameLength 减 去 ByteBuf 的 可 读 字 市 数 就 是 需要 
丢弃 的 字 节 长 度 ， 如 果 需 要 丢弃 的 字 节 数 discard 小 于 绥 冲 区 可 读 的 字 节 
数 ， 则 直接 丢弃 整 包 消 息 。 如 果 雷 要 丢弃 的 字 节 数 大 于 当前 的 可 读 字 市 
数 ， 说 明 即 便 将 当前 所 有 可 读 的 字 节 数 全 部 丢弃 ， 也 无 法 完成 任务 ， 则 
设置 discardingTooLongFrame 标 识 为 true， 下 次 解码 的 时 候 继 续 丢弃 。 丢 
弃 操 作 完 成 之 后 ， 调 用 failIfNecessary 方 法 根据 实际 情况 抛 出 异常 。 如 图 
17-39 所 示 。 





























图 17-39 ”LengthFieldBasedFrameDecoder 的 decode 方 法 片段 4 


如 果 当 前 的 可 读 字 节 数 小 于 frameLength， 说 明 是 个 半 包 消息 ， 需 要 
返回 空 ， 由 IO 线程 继续 读 取 后 续 的 数据 报 ， 等 竺 下 次 解码 。 


对 需要 忽略 的 消息 头 字 段 进行 判断 ， 如 有 果 大 于 消息 长 度 
frameLength， 说 明码 流 非 法 ， 需 要 忽略 当前 的 数据 报 ， 抛 出 
CorruptedFrameException 异 常 。 通 过 ByteBuf 的 skipBytes 方 法 忽略 消息 头 
中 不 需要 的 字段 ， 得 到 整 包 ByteBuf。 





通过 extractFrame 方 法 获取 解码 后 的 整 包 消息 缓冲 区 ， 代 码 如 图 17- 
40 所 示 。 


图 17-40  LengthFieldBasedFrameDecoderll'JextractFrame7] 7; 





根据 消息 的 实际 长 度 分 配 一 个 新 的 ByteBuf 对 象 ， 将 需要 解码 的 
ByteBuf 写 绥 冲 区 复制 到 新 创建 的 ByteBuf 中 并 返回 ， 返 回 之 后 更 新 原 
解码 缓冲 区 ByteBuf 为 原 读 索 引 + 消息 报 文 的 实际 长 度 

CactualFrameLength) 。 





至 此 ， 基 于 长 度 的 半 包 解码 器 介绍 完毕 ， 对 于 使 用 者 而 言 ， 实 际 不 
需要 对 LengthField BasedFrameDecoder 进 行 定制 。 只 需要 了 解 每 个 参数 
的 用 法 ， 再 结合 用 户 的 业务 场景 进行 参数 设置 ， 即 可 实现 半 包 消息 的 自 
动 解 码 ， 后 面 的 业务 解码 器 得 到 的 是 个 完整 的 整 包 消息 ， 不 用 再 额外 考 
虑 如 何 处理 半 包 。 这 极 大 地 降低 了 开发 难度 ， 提 升 了 开发 效率 。 


17.4.5 ”MessageToByteEncoder 源 人 码 分 析 


MessageToByteEncoder 负 责 将 用 户 的 POJO 对 象 编码 成 ByteBuf， 以 
便 通 过 网 络 进行 传输 。 下 面 一 起 看 它 的 源码 实现 ， 如 图 17-41 所 示 。 


图 17-41 ”MessageToByteEncoder 的 write 方法 片段 1 


首先 判 断 当 前 编码 需 是 否 文 持 需 要 发 送 的 消 轧 ， 如 果 不 文 持 则 直接 








透 传 ， 如 果 文 持 则 判断 绥 冲 区 的 类 型 ， 对 于 直接 内 存 分 配 ioBuffer CHE 
外 内 存 ) ， 对 于 堆 内 存 通过 heapBuffer 方 法 分 配 。 


编码 使 用 的 缓冲 区 分 配 完成 之 后 ， 调 用 encode 抽 象 方法 进行 编码 ， 
方法 定义 如 图 17-42 所 示 。 


图 17-42 “MessageToByteEncoder 的 抽象 encode 方 法 


编码 完成 之 后 ， 调 用 ReferenceCountUtil 的 release 方 法 释放 编码 对 象 
msg。 对 编码 后 的 ByteBuf 进 行 以 下 判断 。 


e 如 果 绥 冲 区 包含 可 发 送 的 字 市 ， 则 调用 ChannelHandlerContext 的 
write 方法 发 送 ByteBuf; 

e 如 采 绥 冲 区 没有 包含 可 写 的 字 节 ， 则 需要 释放 编码 后 的 ByteBuf， 
写 入 一 个 空 的 ByteBuf 到 ChannelHandlerContext 中 。 





发 送 操作 完成 之 后 ， 在 方法 退出 之 前 释放 编码 缓冲 区 ByteBuf 对 
象 。 


17.4.6 ”MessageToMessageEncoder 源 人 码 分 析 


MessageToMessageEncoder 负 责 将 一 个 POJO 对 象 编 码 成 男 一 个 
POJO 对 象 ， 例 如 将 XML ”Document 对 象 编码 成 XML 格 式 的 字符 串 。 下 
面 一 起 看 它 的 源码 实现 ， 如 图 17-43 所 示 。 





图 17-43 ”MessageToMessageEncoder 的 抽象 write 方 法 


与 之 前 的 编码 器 类 似 ， 创 建 RecyclableArrayList 对 象 ， 判 断 当 前 需 
要 编码 的 对 象 是 否 是 编码 器 可 处 理 的 类 型 ， 如 果 不 是 ， 则 忽略 ， 执 行 下 
一 个 ChannelHandler 的 write 方 法 。 











具体 的 编码 方法 实现 由 用 户 子 类 编码 器 负责 完成 ， 如 果 编 码 后 的 
RecyclableArrayList 为 空 ， 说 明 编 码 没 有 成 功 ， 释 放 RecyclableArrayList 
引用 。 


如 果 编 码 成 功 ， 则 通过 遍历 RecyclableArrayList， 循 环 发 送 编码 后 
的 POJO 对 象 ， 代 码 如 图 17-44 所 示 。 


图 17-44 ”循环 发 送 编码 后 的 POJO 对 象 

















17.4.7 ”LengthFieldPrepender 源 码 分 析 


LengthFieldPrepender 负 责 在 竺 发送 的 ByteBuf 消 息 头 中 增加 一 个 长 
度 字 段 来 标识 消 奶 的 长 度 ， 它 简化 了 用 户 的 编码 器 开发 ， 使 用 户 不 需要 
额外 去 设置 这 个 长 度 字段 。 下 面 我 们 来 看 下 它 的 实现 ， 如 图 17-45 所 
不 。 








图 17-45 ”LengthFieldPrepender 的 encode 方 法 片段 1 


首先 对 长 度 字段 进行 设置 ， 如 宁 需 要 包含 消 轧 长 度 目 身 ， 则 在 原来 
长 度 的 基础 之 上 再 加 上 lengthFieldLength 的 长 度 。 

















如 果 调 整 后 的 消 妃 长 度 小 于 0， 则 抛 出 参数 非法 异常 。 对 消 妃 长 度 
目 身 所 占 的 字 布 数 进行 判断 ， 以 便 采 用 正确 的 方法 将 长 度 字 段 写 入 到 
ByteBuf 中 ， 共 有 以 下 6 种 可 能 。 











e 长 度 字 段 所 占 字 节 为 1， 如 果 使 用 1 个 Byte 字 市 代表 消息 长 度 ， 则 最 
大 长 度 需 要 小 于 256 个 字 节 。 对 长 度 进行 校 验 ， 如 果 校 验 失 败 ， 则 
抛 出 参数 非法 异常 ， 寿 校 验 通过 ， 则 创建 新 的 ByteBuf 并 通过 
writeByte 将 长 度 值 写 入 到 ByteBuf 中 。 








长 度 字 段 所 占 字 市 为 2: 如 果 使 用 2 个 Byte 字 节 代 表 消 息 长 度 ， 则 最 
大 长 度 需 要 小 于 65536 个 字 节 ， 对 长 度 进行 校 验 ， 如 有 果 校 验 失败 ， 
则 抛 出 参数 非法 异常 ， 耕 校 验 通 过 ， 则 创建 新 的 ByteBuf 并 通过 
writeShort 将 长 度 值 写 入 到 ByteBuf 中 。 

长 度 字 段 所 占 字 市 为 3: BOREAS TS Byte AA SRE, Mr 
大 长 度 需 要 小 于 16777216 个 字 节 ， 对 长 度 进行 校 验 ， 如 果 校 验 失 
败 ， 则 抛 出 参数 非法 异常 ， 大 校 验 通过 ， 则 创建 新 的 ByteBuf 并 通 
过 writeMedium 将 长 度 值 写 入 到 ByteBuf 中 。 

长 上 度 字 段 所 占 字 节 为 4: 创建 新 的 ByteBuf， 并 通过 writeInt 将 长 度 值 
写 入 到 ByteBuf 中 。 

KEEFE AS AAS: 创建 新 的 ByteBuf， 并 通过 writeLong 将 长 度 
值 写 入 到 ByteBuf 中 。 

其 他 长 度 值 : 直接 抛 出 Error。 








最 后 将 原 需 要 发 送 的 ByteBuf 复 制 到 List< Object> ”out 中， 完成 编 


17.5 J£ 


本 章 介 绍 了 ChannelPipeline 和 ChannelHandler 的 功能 及 原理 ， 并 给 出 
了 使 用 建议 ， 指 出 了 需要 注意 的 细 市 。 


最 后 ， 对 ChannelPipeline 和 ChannelHandler 的 主要 功能 子 类 进行 了 源 
码 分 析 。 通 过 学 习 源 码 ， 相 信 读 者 不 仅仅 能 学 到 Netty 的 一 些 高 级 用 
法 ， 而 且 能 够 举一反三 ， 通 过 按 需 扩展 和 功能 定制 来 更 好 的 满足 业务 的 


差异 化 需求 。 


758185: EventLoopfl 
EventLoopGroup 


从 本 章 开 始 我 们 将 学 习 Netty 的 线程 模型 。Netty 框 染 的 主要 线程 就 
是 VO 线程 ， 线 程 模 型 设计 的 好 坏 ， 决 定 了 系统 的 否 吐 量 、 并 友 性 和 安 
全 性 等 架构 质量 属性 。 


Netty 的 线程 模型 被 精心 地 设计 ， 既 提升 了 框架 的 并 发 性 能 ， 又 能 
在 很 大 程度 避免 锁 ， 局 部 实现 了 无 锁 化 设计 。 从 本 章 开 始 ， 我 们 将 介绍 
Netty 的 线程 模型 ， 同 时 对 它 的 NIO 线 程 NioEventLoop 进 行 详尽 地 源码 分 
析 ， 让 读者 能 够 学 习 到 更 多 IO 相关 的 多 线程 设计 原理 和 实现 。 


本 章 主 要 内 容 包 括 : 


。 Netty 的 线程 模型 
e NioEventLoop 源 码 分 析 


18.1 Netty 的 线程 模型 


当 我 们 讨论 Netty 线 程 模型 的 时 候 ， 一 般 首 先 会 想到 的 是 经 典 的 
Reactor 线 程 模型 ， 尽 管 不 同 的 NIO 框 架 对 于 Reactor 模 式 的 实现 存在 差 
异 ， 但 本 质 上 还 是 遵循 了 Reactor 的 基础 线程 模型 。 





下 面 让 我 们 一 起 回顾 经 典 的 Reactor 线 程 模型 。 
18.1.1 Reactor 单 线程 模型 


Reactor 单 线程 模型 ， 是 指 所 有 的 IO 操作 都 在 同一 个 NIO 线 程 上 面 
完成 。NIO 线 程 的 职责 如 下 。 


e 作为 NIO 服 务 端 ， 接 收 客户 端的 TCP 连 接 ; 
e 作为 NIO 客 户 端 ， 回 服务 端 发 起 TCP 连 接 ; 
e SPORA X HERRAN FH; 

e. 问 通 信 对 端 发 送 消息 请 求 或 者 应 答 消 息 。 





Reactor 单 线程 模型 如 图 18-1 所 示 。 

















图 18-1 Reactor 单 线程 模型 





由 于 Reactor 模 式 使 用 的 是 异步 非 阻塞 VO， 所 有 的 VO 操作 都 不 会 导 
致 阻 蹇 ， 理 论 上 一 个 线程 可 以 独立 处 理 所 有 LO 相关 的 操作 。 从 架构 层 
面 看 ， 一 个 NIO 线 程 确 实 可 以 完成 其 承担 的 职责 。 例 如 ， 通 过 Acceptor 
类 接收 客户 端的 TCP 连 接 请 求 消 息 ， 当 链 路 建立 成 功 之 后 ， 通 过 
Dispatch 将 对 应 的 ByteBuffer 派 发 到 指定 的 Handler 上 ， 进 行 消息 解码 。 

用 户 线程 消息 编码 后 通过 NIO 线 程 将 消息 发 送 给 客户 端 。 





在 一 些小 容量 应 用 场景 下 ， 可 以 使 用 单线 程 模型 。 但 是 这 对 于 高 负 
载 、 大 并 发 的 应 用 场景 却 不 合适 ， 主 要 原因 如 下 。 


一 个 NIO 线 程 同 时 处 理 成 百 上 干 的 链 路 ， 性 能 上 无 法 文 撑 ， 即 便 

NIO 线 程 的 CPU 负荷 达到 100%， 也 无 法 满足 海量 消息 的 编码 、 解 

码 、 读 取 和 发 送 。 

当 NIO 线 程 负载 过 重 之 后 ， 处 理 速 度 将 变 慢 ， 这 会 导致 大 量 客户 端 
连接 超时 ， 超 时 之 后 往往 会 进行 重 发 ， 这 更 加 重 了 NIO 线 程 的 负 

载 ， 最 终 会 导致 大 量 消 轧 积压 和 处 理 超 时 ， 成 为 系统 的 性 能 瓶颈 。 
HY Se PE lal el: 一 旦 NIO 线 程 意外 跑 飞 ， 或 者 进入 死 循 环 ， 会 导致 整 
个 系统 通信 模块 不 可 用 ， 不 能 接收 和 处 理 外 部 消 轧 ， 造 成 节点 故 


障 。 








为 了 解决 这 些 问题 ， 演 进出 了 Reactor 多 线程 模型 。 下 面 我 们 一 起 学 
习 下 Reactor 多 线程 模型 。 


18.1.2 Reactor ZX £z i7 
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处 理 IO 操 作 ， 它 的 原理 如 图 18-2 所 示 。 


图 18-2 Reactor 多 线程 模型 


Reactor 多 线程 模型 的 特点 如 下 。 


。 有 专门 一 个 NIO 线 程 一 Acceptor 线 程 用 于 监听 服务 端 ， 接 收 客户 
端的 TCP 连 接 请 求 。 
e 网 络 VO 操 作 读 、 写 等 由 一 个 NIO 线 程 池 负 责 ， 线 程 池 可 以 采用 


标准 的 JDK 线 程 池 实现 ， 它 包含 一 个 任务 队列 和 N 个 可 用 的 线程 ， 








由 这 些 NIO 线 程 负责 消息 的 读 取 、 解 码 、 编 码 和 发 送 。 
e 一 个 NIO 线 程 可 以 同时 处 理 N 条 链 路 ， 但 是 一 个 链 路 只 对 应 一 个 
NIO 线 程 ， 防 止 发 生 并 发 操作 问题 。 


在 绝 大 多 数 场景 下 ，Reactor 多 线程 模型 可 以 满足 性 能 需求 。 但 是 ， 
在 个 别 特殊 场景 中 ， 一 个 NIO 线 程 负责 监 听 和 处 理 所 有 的 客户 问 连 接 可 
能 会 存在 性 能 问题 。 例 如 并 发 百 万 客户 端 连接 ， 或 者 服务 并 需 要 对 客户 
病 握 手 进行 安全 认证 ， 但 是 认证 本 吴 非常 损耗 性 能 。 在 这 类 场景 下 ， 单 
独 一 个 Acceptor 线 程 可 能 会 存在 性 能 不 足 的 问题 ， 为 了 解决 性 能 问题 ， 
产生 了 第 三 种 Reactor 线 程 模型 一 一 主 从 Reactor 多 线程 模型 。 


18.1.3” 主 从 Reactor 多 线程 模型 


主 从 Reactor 线 程 模型 的 特点 是 : 服务 端 用 于 接收 客户 端 连 接 的 不 再 
是 一 个 单独 的 NIO 线 程 ， 而 是 一 个 独立 的 NIO 线 程 池 。Acceptor 接 收 到 
客户 端 TCP 连 接 请 求 并 处 理 完 成 后 《可 能 包含 接 入 认证 等 ) ， 将 新 创建 
的 SocketChannel 注 册 到 IO 线程 池 (sub reactor EE) 的 某 个 MO 线程 
上 ， 由 它 负 责 SocketChannel 的 读 写 和 编 解 码 工 作 。Acceptor 线 程 池 仪 仅 
用 于 客户 端的 登录 、 握 手 和 安全 认证 ， 一 旦 链 路 建立 成 功 ， 就 将 链 路 注 
册 到 后 端 subReactor 线 程 池 的 MO 线程 上 ， 由 IO 线程 负责 后 续 的 IO 操 
作 。 


它 的 线程 模型 如 图 18-3 所 示 。 


图 18-3” 主 从 Reactor 多 线程 模型 





利用 主 从 NIO 线 程 模型 ， 可 以 解决 一 个 服务 并 监听 线程 无 法 有 效 处 
理 所 有 客户 端 连接 的 性 能 不 足 问 题 。 因 此 ， 在 Netty 的 官方 demo 中 ， 推 
荐 使 用 该 线程 模型 。 


18.1.4 Netty 的 线程 模型 


Netty 的 线程 模型 并 不 是 一 成 不 变 的 ， 它 实际 取决 于 用 户 的 局 动 参 
数 配 置 。 通 过 设置 不 同 的 启动 参数 ，Netty 可 以 同时 支持 Reactor 单 线程 
模型 、 多 线程 模型 和 主 从 Reactor 多 线 层 模型 。 


下 面 让 我 们 通过 一 张 原理 图 (图 18-4) 来 快速 了 解 Netty 的 线程 模 
A, 


图 18-4 ”Netty 的 线程 模型 








可 以 通过 如 图 18-5 所 示 的 Netty 服 务 端 局 动 代码 来 了 解 它 的 线程 模 





图 18-5 ”Netty 服 务 端 启动 


服务 端 局 动 的 时 候 ， 创 建 了 两 个 NioEventLoopGroup， 它 们 实际 是 
两 个 独立 的 Reactor 线 程 池 。 一 个 用 于 接收 客户 端的 TCP 连 接 ， 另 一 个 用 
于 处 理 MO 相 关 的 读 写 操作 ， 或 者 执行 系统 Task、 定 时 任务 Task 等 。 


Netty 用 于 接收 客户 端 请 求 的 线程 池 职 责 如 下 。 

(1) 接收 客户 端 TCP 连 接 ， 初 始 化 Channel 参 数 ; 

(2) 将 链 路 状态 变更 事件 通知 给 ChannelPipeline。 
Netty 处 理 1/O 操 作 的 Reactor 线 程 池 职 责 如 下 。 

(1) 异步 读 取 通 信 对 端的 数据 报 ， 发 送 读 事件 到 ChannelPipeline; 


异步 发 送 消 息 到 通信 对 端 ， 调 用 ChannelPipeline 的 消息 发 送 接 


WY 


(2 


3) 执行 系统 调用 Task:; 
(4) 执行 定时 任务 Task， 例 如 链 路 空闲 状态 监测 定时 任务 。 


通过 调整 线程 池 的 线程 个 数 、 是 否 共享 线程 池 等 方式 ，Netty 的 
Reactor 线 程 模型 可 以 在 单线 程 、 多 线程 和 主 从 多 线程 间 切 换 ， 这 种 灵活 
的 配置 方式 可 以 最 大 程度 地 满足 不 同 用 户 的 个 性 化 定制 。 


为 了 尽 可 能 地 提升 性 能 ，Netty 在 很 多 地 方 进行 了 无 锁 化 的 设计 ， 
例如 在 IO 线程 内 部 进行 串 行 操 作 ， 避 免 多 线程 竞争 导致 的 性 能 下 降 问 
题 。 表 面 上 看 ， 串 行 化 设计 似乎 CPU 利用 率 不 高 ， 并 发 程度 不 够 。 但 
征 ， 通 过 调整 NIO 线 程 池 的 线程 参数 ， 可 以 同时 月 动 多 个 串 行 化 的 线程 
并 行 运 行 ， 这 种 局 部 无 锁 化 的 串 行 线程 设计 相 比 一 个 队列 一 多 个 工作 线 
程 的 模型 性 能 更 优 。 


它 的 设计 原理 如 图 18-6 所 示 。 


[18-6 Netty Reactor 线 程 模型 








Netty 的 NioEventLoop 读 取 到 消息 之 后 ， 直 接 调 用 ChannelPipeline 的 
fireChannelRead (Object msg)。 只 要 用 户 不 主动 切换 线程 ， 一 直 都 是 由 
NioEventLoop 调 用 用 户 的 Handler， 期 间 不 进行 线程 切换 。 这 种 串 行 化 处 
理 方式 避免 了 多 线程 操作 导致 的 锁 的 竞争 ， 从 性 能 角度 看 是 最 优 的 。 





18.15 EKEk 


Netty 的 多 线程 编程 最 佳 实践 如 下 。 


(1) 创建 两 个 NioEventLoopGroup， 用 于 逻辑 隔离 NIO Acceptor 和 
NIO IO 线程 。 


(2) 尽量 不 要 在 ChannelHandler 中 局 动用 户 线 程 〈 解 码 后 用 于 将 
POJO 消 息 派 发 到 后 端 业务 线程 的 除外 ) o 


(3) 解码 要 放 在 NIO 线 程 调用 的 解码 Handler 中 进行 ， 不 要 切换 到 
用 户 线 程 中 完成 消 妃 的 解码 。 


(4) 如 果 业 务 馆 辑 操 作 非 常 简单 ， 没 有 复杂 的 业务 逻辑 计算 ， 没 
有 可 能 会 导致 线程 被 阻塞 的 磁盘 操作 、 数 据 库 操作 、 网 路 操作 等 ， 可 以 
直接 在 NIO 线 程 上 完成 业务 馆 辑 编排 ， 不 需要 切换 到 用 户 线程 。 


5) 如 果 业 务 逻 辑 处 理 复杂 ， 不 要 在 NIO 线 程 上 完成 ， 建 议 将 解 
人 码 后 的 POJO 消 息 封 装 成 Task， 派 发 到 业务 线程 池 中 由 业务 线程 执行 ， 
以 保证 NIO 线 程 尽快 被 释放 ， 处 理 其 他 的 VO 操作 。 


推荐 的 线程 数量 计算 公式 有 以 下 两 种 。 

e 公式 一 : 线程 数量 = 线程 总 时 间 / 瓶 颈 资 源 时 间 〉 x 瓶颈 资源 的 线 
程 并 行 数 ; 

e 公式 二 : QPS=1000/ 线 程 总 时 间 x 线 程 数 。 
由 于 用 户 场 景 的 不 同 ， 对 于 一 些 复杂 的 系统 ， 实 际 上 很 难 计 算出 最 


优 线程 配置 ， 只 能 是 根据 测试 数据 和 用 户 场 景 ， 结 合 公 式 给 出 一 个 相对 
合理 的 范围 ， 然 后 对 范围 内 的 数据 进行 性 能 调试 ， 选 择 相对 最 优 值 。 








18.2 ”NioEventLoop 源 码 分 析 
18.2.1 NioEventLoop ix il JR E 


Netty 的 NioEventLoop 并 不 是 一 个 纯粹 的 IO 线程 ， 它 除了 负责 IO 的 
读 写 之 外 ， 还 兼顾 处 理 以 下 两 类 任务 。 


e 系统 Task: 通过 调用 NioEventLoop 的 execute(Runnable —task)77 7X 3: 
现 ，Netty 有 很 多 系统 Task， 创 建 它 们 的 主要 原因 是 : HORREM 
用 户 线程 同时 操作 网 络 资源 时 ， 为 了 防止 并 发 操作 导致 的 锁 竞 争 ， 
将 用 户 线程 的 操作 封装 成 Task 放 入 消息 队列 中 ， 由 IO 线程 负责 执 
行 ， 这 样 就 实现 了 局 部 无 锁 化 。 

。 定时 任务 : 通过 调用 NioEventLoop 的 schedule(Runnable command, 
long delay, TimeUnit unit) 方 法 实现 。 


正 是 因为 NioEventLoop 具 备 多 种 职责 ， 所 以 它 的 实现 比较 特殊 ， 它 
并 不 是 个 简单 的 Runnable。 我 们 来 看 下 它 的 继承 关系 ， 如 图 18-7 所 示 。 


图 18-7 NioEventLoop 继 承 关系 


它 实 现 了 EventLoop 接 口 、EventExecutorGroup 接 口 和 
ScheduledExecutorService 接 口 ， 正 是 因为 这 种 设计 ， 导 致 NioEventLoop 
和 其 父 类 功能 实现 非常 复杂 。 下 面 我 们 就 重点 分 析 它 的 源码 实现 ， 理 解 
EN ETT RE. 





18.2.2 NioEventLoop4k KK AKA 


从 下 个 小 节 开 始 ， 我 们 将 对 NioEventLoop 的 源码 进行 分 析 。 通 过 源 


人 码 分析 ， 和 希望 读者 能 够 理解 Netty 的 Reactor 线 程 设 计 原 理 ， 掌 握 其 精 
BE. NioEventLoop#k KR % Kun &l18-8H TR. 





图 18-8 NioEventLoop 继 承 关 系 图 
18.2.3 NioEventLoop 


作为 NIO 框 架 的 Reactor 线 程 ，NioEventLoop 需 要 处 理 网 络 MO 读 写 事 
件 ， 因 此 它 必 须 聚 合 一 个 多 路 复 用 器 对 象 。 下 面 我 们 看 它 的 Selector 完 
义 ， 如 图 18-9 所 示 。 





图 18-9 NioEventLoop 的 Selector 定 义 


Selector 的 初始 化 非常 人 简单， 直接 调 用 Selector.open0 方 法 就 能 创建 
并 打开 一 个 新 的 Selector。Netty 对 Selector 的 selectedKeys 进 行 了 优化 ， 用 
户 可 以 通过 io.netty.noKeySet Optimization 开 关 决 定 是 否 启用 该 优化 项 。 
默认 不 打开 selectedKeys 优 化 功能 。 





Selector 的 初始 化 代码 如 图 18-10 所 示 。 





图 18-10 ”Selector 的 初始 化 


如 果 没 有 开启 selectedKeys 优 化 开关 ， 通 过 provider.openSelector() 创 
建 并 打开 多 路 复 用 器 之 后 就 立即 返回 。 





如 果 开 局 了 优化 开关 ， 需 要 通过 反射 的 方式 从 Selector 实 例 中 获取 
selectedKeys 和 publicSelectedKeys， 将 上 述 两 个 成 员 变 量 设置 为 可 写 ， 
通过 反射 的 方式 使 用 Netty 构 造 的 selectedKeys 包 装 类 selectedKeySet 将 原 
JDKff]selectedKeys& Hi. 





分 析 完 Selector 的 初始 化 ， 下 面 重点 看 下 run 方 法 的 实现 ， 如 图 18-11 
所 示 。 


图 18-11 NioEventLoop 的 run 方 法 


所 有 的 逻辑 操作 都 在 for 循 环 体内 进行 ， 只 有 当 NioEventLoop 接 收 到 
退出 指令 的 时 候 ， 才 退出 循环 ， 否 则 一 直 执 行 下 去 ， 这 也 是 通用 的 NIO 


首先 需要 将 wakenUp 还 原 为 false， 并 将 之 前 的 wake ”up 状态 保存 到 
oldWakenUp 变 量 中 。 通 过 hasTasks() 方 法 判断 当前 的 消息 队列 中 是 否 
消息 尚未 处 理 ， 如 果 有 则 调用 selectNow0) 方 法 立即 进行 一 次 select 操 作 ， 
看 是 否 有 准备 就 绪 的 Channel 需 要 处 理 。 它 的 代码 实现 如 图 18-12 所 示 。 





图 18-12 ”NioEventLoop 的 selectNow() 方 法 


Selector 的 selectNow() 方 法 会 立即 触发 Selector 的 选择 操作 ， 如 果 有 
准备 就 绪 的 Channel， 则 返回 就 绪 Channel 的 集合 ， 和 否则 返回 0。 选 择 完 成 
之 后 ， 再 次 判断 用 户 是 否 调用 了 Selector 的 wakeup 方 法 ， 如 果 调 用 ， 则 
执行 selector.wakeupO 操 作 。 


下 面 我 们 返回 到 run 方 法 ， 继 续 分 析 人 代码。 如果 消息 队列 中 没有 消 
县 需要 处 理 ， 则 执行 select(0) 方 法 ， 由 Selector 多 路 复 用 堪 轮 询 ， 看 是 人 否 
有 准备 就 绪 的 Channel。 它 的 实现 如 图 18-13 所 示 。 





图 18-13 ”NioEventLoop 的 select(0) 方 法 


取 当 前 系统 的 纳 秒 时 间 ， 调 用 delayNanos() 方 法 计算 获得 
NioEventLoop 中 定时 任务 的 触发 时 间 。 


计算 下 一 个 将 要 触发 的 定时 任务 的 剩余 超时 时 间 ， 将 它 转 换 成 坚 
秒 ， 为 超时 时 间 增 加 0.5 萤 秒 的 调整 值 。 对 剩余 的 超时 时 间 进 行 判断 ， 
如 果 和 需要 立即 执行 或 者 已 经 超时 ， 则 调用 selector.selectNow() 进 行 轮 询 
操作 ， 将 selectCnt 设 置 为 1， 并 退出 当前 循环 。 


将 定时 任务 剩余 的 超时 时 间作 为 参数 进行 select 操 作 ， 每 完成 一 次 
select 操 作 ， 对 select 计 数 器 selectCnt 加 1。 





Select 操 作 完 成 之 后 ， 需 要 对 结果 进行 判断 ， 如 果 存 在 下 列 任意 一 
种 情况 ， 则 退出 当前 循环 。 











e 有 Channel 处 于 就 绪 状 态 ，selectedKeys 不 为 0， 说 明 有 读 写 事件 需要 
处 理 ; 

e oldWakenUpytrue; 

e 系统 或 者 用 户 调用 了 wakeup 操 作 ， 唤 醒 当 前 的 多 路 复 用 器 ; 

。 消 恩 队 列 中 有 新 的 任务 需要 处 理 。 


如 果 本 次 Selector 的 轮 询 结果 为 空 ， 也 没有 wakeup 操 作 或 是 新 的 消 
恩 需 要 处 理 ， 则 说 明 是 个 空 轮 询 ， 有 可 能 触发 了 JDK 的 epoll bug, EZ 
导致 Selector 的 空 轮 询 ， 使 1/O 线 程 一 直 处 于 100% 状 态 。 截 止 到 当前 最 新 
的 JDK7 版 本 ， 该 bug 仍 然 没 有 被 完全 修复 。 所 以 Netty 需 要 对 该 bug 进 行 
规避 和 修正 。 





Bug-id=6403933 的 Selector 推 栈 如 图 18-14 所 示 。 
图 18-14 JDK Selector CPU 100% bug 
该 Bug 的 修复 策略 如 下 。 


(1) 对 Selector 的 select 操 作 周 期 进行 统计 ; 


(2) 每 完成 一 次 空 的 Select 操作 进行 一 次 计数 ; 


(3) 在 某 个 周期 (例如 100ms〉 内 如 果 连 续 发 生 N 次 空 轮 询 ， 说 明 
触发 了 JDK NIO 的 epoll0 死 循环 bug。 


监测 到 Selector 处 于 死 循环 后 ， 需 要 通过 重建 Selector 的 方式 让 系统 
恢复 正常 ， 代 码 如 图 18-15 所 示 。 














图 18-15 ”重建 Selector 


首先 通过 inEventLoop(0) 方 法 判断 是 否 是 其 他 线程 发 起 的 
rebuildSelector， 如 果 由 其 他 线程 发 起 ， 为 了 避免 多 线程 并 发 操作 
Selector 和 其 他 资源 ， 需 要 将 rebuildSelector 封 装 成 Task， 放 到 
NioEventLoop 的 消息 队列 中 ， 由 NioEventLoop 线 程 负责 调 用 ， 这 样 耽 避 
免 了 多 线程 并 发 操作 导致 的 线程 安全 问题 。 


调用 openSelector 方 法 创建 并 打开 新 的 Selector， 通 过 循环 ， 将 原 
Selector 上 注册 的 SocketChannel 从 旧 的 Selector 上 去 注册 ， 重 新 注册 到 新 
的 Selector 上 ， 并 将 老 的 Selector 关 闭 。 


相关 代码 如 图 18-16 所 示 。 





图 18-16 ”将 SocketChannel 重 新 注册 到 新 建 的 Selector 上 








通过 销毁 旧 的 、 有 问题 的 多 路 复 用 器 ， 使 用 新 建 的 Selector， 就 可 
以 解决 空 轮 询 Selector 导 致 的 UO 线 程 CPU 占用 100% 的 问题 。 


如 果 轮 询 到 了 处 于 就 绪 状 态 的 SocketChannel， 则 需要 处 理 网 络 IO 
事件 ， 相 关 代 码 如 图 18-17 所 示 。 





图 18-17 ”进行 WO 操作 


由 于 默认 未 开启 selectedKeys 优 化 功能 ， 所 以 会 进入 
processSelectedKeysPlain 分 文 执行 。 下 面 继 续 分 析 
processSelectedKeysPlain 的 代码 实现 ， 如 网 18-18 所 示 。 

















图 18-18 ”遍历 SelectionKey 进 行 网 络 读 写 


对 SelectionKey 进 行 保 护 性 判断 ， 如 果 为 空 则 返回 。 获 取 
SelectionKey 的 迭代 器 进行 循环 操作 ， 通 过 迭代 器 获取 SelectionKey 和 
SocketChannel 的 附件 对 象 ， 将 已 选择 的 选择 键 从 和 达 代 器 中 删除 ， 防 止 下 
次 被 重复 选择 和 处 理 ， 代 码 如 图 18-19 所 示 。 


图 18-19 ”判断 SocketChannel 的 附件 类 型 


对 SocketChannel 的 附件 类 型 进行 判读 ， 如 果 是 AbstractNioChannel 
类 型 ， 说 明 它 是 NioServerSocketChannel 或 者 NioSocketChannel， 需 要 进 
行 VO 读 写 相 关 的 操作 ， 如 果 它 是 NioTask， 则 对 其 进行 类 型 转换 ， 调 用 
processSelectedKey 进 行 处 理 。 由 于 Netty 自 身 没 实现 NioTask 接 口 ， 所 以 
通 弟 情况 下 系统 不 会 执行 该 分 文 ， 除 非 用 户 自 行 注册 该 Task 到 多 路 复 用 
ane 


下 面 我 们 继续 分 析 1O 事 件 的 处 理 ， 代 码 如 图 18-20 所 示 。 





图 18-20 ”对 选择 键 的 状态 进行 判断 


首先 从 NioServerSocketChannel 或 者 NioSocketChannel 中 获取 其 内 部 
类 Unsafe， 判 断 当 前 选择 键 是 否 可 用 ， 如 果 不 可 用 ， 则 调用 Unsafe 的 
close 方 法 ， 释 放 连 接 资 源 。 


如 果 选 择 键 可 用 ， 则 继续 对 网 络 操 作 位 进行 判断 ， 代 码 如 图 18-21 
所 示 。 

















图 18-21 ”处 理 读 事件 





如 果 是 读 或 者 连接 操作 ， 则 调用 Unsafe 的 read 方 法 。 此 处 Unsafe 的 
实现 是 个 多 态 ， 对 于 NioServerSocketChannel， 它 的 读 操 作 就 是 接收 客户 
端的 TCP 连 接 ， 相 关 代 人 码 如 图 18-22 所 示 。 





图 18-22 ”NioServerSocketChannel 的 读 操 作 





对 于 NioSocketChannel， 它 的 读 操 作 束 是 从 SocketChannel 中 读 取 
ByteBuffer， 相 关 代 人 码 如 图 18-23 所 示 。 


[18-23 ”NioSocketChannel 的 读 操 作 





如 果 网 络 操作 位 为 写 ， 则 说 明 有 半 包 消息 尚未 发 送 完成 ， 需 要 继续 
调用 flush 方 法 进行 友 送 ， 相 关 的 代码 如 图 18-24 所 示 。 

















图 18-24 ”调用 flush 方 法 写 半 包 








如 果 网 络 操 作 位 为 连接 状态 ， 则 需要 对 连接 结果 进行 判读 ， 代 码 如 
图 18-25 所 示 。 


图 18-25 “处 理 连 接 事件 


需要 注意 的 是 ， 在 进行 finishConnect 判 断 之 前 ， 需 要 将 网 络 操作 位 
进行 修改 ， 注 销 掉 SelectionKey.OP_CONNECT。 


处 理 完 7O 事 件 之 后 ，NioEventLoop 需 要 执行 非 JO 操 作 的 系统 Task 
和 定时 任务 ， 代 码 如 图 18-26 所 示 。 


图 18-26 ”执行 非 JO 任 务 


由 于 NioEventLoop 需 要 同时 处 理 MO 事 件 和 非 JO 任 务 ， 为 了 保证 两 
者 都 能 得 到 足够 的 CPU 时 间 被 执行 ，Netty 提 供 了 IO 比例 供用 户 定 制 。 
如 果 IO 操 作 多 于 定时 任务 和 Task， 则 可 以 将 MO 比例 调 大 ， 反 之 则 调 
小 ， 默 认 值 为 509%。 





Task 的 执行 时 间 根 据 本 次 WO 操作 的 执行 时 间 计 算得 来 。 下 面 我 们 
具体 看 runAllTasks 方 法 的 实现 ， 如 图 18-27 所 示 。 


图 18-27 ”执行 非 JO 任 务 


首先 从 定时 任务 消 妃 队列 中 弹出 消息 进行 处 理 ， 如 果 消 轧 队 列 为 
空 ， 则 退出 循环 。 根 据 当 前 的 时 间 恰 进行 判断 ， 如 采 该 定时 任务 已 经 或 
者 正 处 于 超时 状态 ， 则 将 其 加 入 到 执行 Task Queue 中 ， 同 时 从 延 时 队列 
中 删除 。 定 时 任务 如 果 没 有 超时 ， 说 明 本 轮 循 环 不 需要 处 理 ， 直 接 退 出 
即 可 ， 代 码 实 现 如 图 18-28 所 示 。 


图 18-28 ”从 延 时 队列 中 移 除 消息 到 Task Queue 





执行 Task Queue 中 原 有 的 任务 和 从 延 时 队列 中 复制 的 已 经 超时 或 者 
正 处 于 超时 状态 的 定时 任务 ， 代 码 如 图 18-29 所 示 。 











图 18-29 ”执行 普通 Task 和 定时 任务 











由 于 获取 系统 纳 秒 时 间 是 个 耗 时 的 操作 ， 每 次 循环 都 获取 当前 系统 
纳 秒 时 间 进 行 超时 判断 会 降低 性 能 。 为 了 提升 性 能 ， 每 执行 60 次 循环 判 
断 一 次 ， 如 果 当 前 系统 时 间 己 经 到 了 分 配给 非 VO 操 作 的 超时 时 间 ， 则 
退出 循环 。 这 是 为 了 防止 由 于 非 JO 任 务 过 多 导致 IO 操作 被 长 时 间 阻 





* 


最 后 ， 判 断 系 统 是 否 进 入 优雅 停机 状态 ， 如 果 处 于 关闭 状态 ， 则 需 
要 调用 closeAll 方 法 ， 释 放 资 源 ， 并 让 NioEventLoop 线 程 退 出 循环 ， 结 
束 运行 。 资 源 关 闭 的 代码 实现 如 图 18-30 所 示 。 





图 18-30 ”NioEventLoop 线 程 退 出 ， 资 源 释放 








遍历 获取 所 有 的 Channel， 调 用 它 的 Unsafe.close() 方 法 关闭 所 有 和 链 
路 ， 释 放 线 程 池 、ChannelPipeline 和 ChannelHandler 等 资源 。 
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本 章 详细 介绍 了 Netty 的 线程 模型 以 及 NioEventLoop 的 实现 ， 通 过 最 
佳 实践 和 源码 分 析 ， 让 读者 加 深 对 Netty 框 架 线程 模型 的 理解 ， 能 够 在 
未 来 的 工作 中 可 以 恰到好处 地 使 用 它 。 





对 于 任何 架构 ， 线 程 模型 设计 的 好 坏 都 直接 影响 软件 的 性 能 和 并 发 
处 理 能 力 ， 季 运 的 是 ，Netty 的 线程 模型 被 精心 地 设计 和 实现 。 相 信 通 
过 对 Netty 线 程 模型 的 学 习 ， 广 大 读者 朋友 可 以 举一反三 ， 将 Reactor 线 
程 模型 的 精髓 应 用 到 日 常 的 工作 中 。 





第 19 瘟 ”FEuture 和 Promise 


本 章 我 们 介绍 Netty 的 Future 和 Promise， 读 者 从 名 字 可 以 看 出 ， 
Future 用 于 获取 异步 操作 的 结果 ， 而 Promise 则 比较 抽象 ， 无 法 直接 猜测 
出 其 功能 。 本 章 将 介绍 Netty Future 和 Promise 的 功能 ， 分 析 它 们 的 源 
码 ， 帮 助 读 者 掌握 其 实现 原理 。 





本 章 主 要 内 容 包 括 : 


。 Future 功 能 

e Future 源 人 码 分 析 
e Promise 功 能 

e Promise 源 码 分 析 


19.1 Future 功能 


Future 最 早 来 源 于 JDK 的 java.util.concurrent.Future， 它 用 于 代表 异步 
操作 的 结果 。 相 关 API 如 图 19-1 所 示 。 


图 19-1 JDK Future 的 API 列 表 





可 以 通过 get 方 法 获取 操作 结 末 ， 如 果 操 作 疝 未 完成 ， 则 会 同步 阻 
塞 当前 调用 的 线程 ， 如 果 不 允 许 阻 塞 太 长 时 间或 者 无 限期 阻塞 ， 可 以 通 
过 市 超时 时 间 的 get 方 法 获取 结果 ; 如 果 到 达 超 时 时 间 操 作 仍 然 没 有 完 
成 ， 则 抛 出 TimeoutException。 


通过 isDone0 方 法 可 以 判断 当前 的 异步 操作 是 否 完 成 ， 如 果 完 成 ， 
无 论 成 功 与 否 ， 都 返回 true， 人 否则 返回 false。 


通过 cancel 可 以 尝试 取消 异步 操作 ， 它 的 结果 是 未 知 的 ， 如 果 操 作 
己 经 完成 ， 或 者 发 生 其 他 未 知 的 原因 拒绝 取消 ， 取 消 操 作 将 会 失败 。 


ChannelFuture 功 能 介绍 


由 于 Netty 的 Future 都 是 与 异步 /O 操 作 相 关 的 ， 因 此 ， 命 名 为 
ChannelFuture， 代 表 它 与 Channel 操 作 相关 。 





它 的 API 接 口 列表 如 表 19-1 所 示 。 
表 19-1 ”ChannelFuture 接 口 列表 


在 Netty 中 ， 所 有 的 IO 操作 都 是 异步 的 ， 这 意味 着 任何 IO 调用 都 会 
立即 返回 ， 而 不 是 像 传统 BIO 那样 同步 等 待 操 作 完 成 。 异 步 操作 会 带 来 


一 个 问题 : 调用 者 如 何 获取 异步 操作 的 结果 ? ChannelFuturest EX T fe 
决 这 个 问题 而 专门 设计 的 。 下 面 我 们 一 起 看 它 的 原理 。 


ChannelFuture 有 两 种 状态 : uncompleted 和 completed。 当 开始 一 个 
IO 操作 时 ， 一 个 新 的 ChannelFuture 被 创建 ， 此 时 它 处 于 uncompleted 状 
态 一 一 非 失 败 、 非 成 功 、 非 取消 ， 因 为 IO 操作 此 时 还 没有 完成 。 一 旦 
IO 操作 完成 ，ChannelFuture 将 会 被 设置 成 completed， 它 的 结果 有 如 下 
三 种 可 能 。 





。 操作 成 功 ; 
e. 操作 失败 ; 
e. 操作 被 取消 。 


ChannelFuture 的 状态 迁移 图 如 图 19-2 所 示 。 


[19-2 ChannelFutureJ 5 XE KS] 








ChannelFuture 提 供 了 一 系列 新 的 API， 用 于 获取 操作 结果 、 添 加 事 
件 监 听 器 、 取 消 IO 操 作 、 同 步 等 待 等 。 


我 们 重点 介绍 添加 监听 器 的 接口 。 管 理 监听 器 相关 的 接口 定义 如 图 
19-3 上 所 示 。 
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图 19-3 ”ChannelFuture 管 理 监 听 器 























Netty 强 烈 建议 直接 通过 添加 监听 蜘 的 方式 获取 IO 操作 结果 ， 或 者 
进行 后 续 的 相关 操作 。 


ChannelFuture 可 以 同时 增加 一 个 或 者 多 个 GenericEutureListener， 人 也 
可 以 通过 remove 方 法 删除 GenericFutureListener。 


GenericFutureListener 的 接口 定义 如 图 19-4 所 示 。 





图 19-4 ”GenericFutureListener 接 口 定 义 





当 1O 操 作 完 成 之 后 ，1/O 线 程 会 回调 ChannelFuture 中 
GenericFutureListener 的 operationComplete 方 法 ， 并 把 ChannelFuture 对 象 
当 作 方法 的 入 参 。 如 果 用 户 需 要 做 上 下 文 相关 的 操作 ， 需 要 将 上 下 文 信 
县 保存 到 对 应 的 ChannelFuture 中 。 


推荐 通过 GenericFutureListener 代 替 ChannelFuture 的 get 等 方法 的 原 
因 是 : 当 我 们 进行 异步 O 操 作 时 ， 完 成 的 时 间 是 无 法 预测 的 ， 如 有 果 不 
设置 超时 时 间 ， 它 会 导致 调用 线程 长 时 间 被 阻塞 ， 甚 至 挂 死 。 而 设置 超 
时 时 间 ， 时 间 又 无 法 精确 预测 。 利 用 异步 通知 机 制 回 调 
GenericFutureListener 是 最 佳 的 解决 方案 ， 它 的 性 能 最 优 。 


需要 注意 的 是 : 不 要 在 ChannelHandler 中 调用 ChannelFuture 的 
await() 方 法 ， 这 会 导致 死 锁 。 原 因 是 发 起 MO 操作 之 后 ， 由 IO 线程 负责 
异步 通知 发 起 WO 操作 的 用 户 线程 ， 如 果 1O 线 程 和 用 户 线程 是 同一 个 线 
程 ， 束 会 导致 /1O 线 程 等 待 自 己 通知 操作 完成 ， 这 就 导 人 至 了 死 锁 ， 这 跟 
经 典 的 两 个 线程 互 等 待 死 锁 不 同 ， 属 于 自己 把 自己 挂 死 。 











相关 代码 示例 如 图 19-5 所 示 。 




















图 19-5 ”ChannelFuture 的 正 反 用 法 示例 





异步 IO 操作 有 两 类 超时 : 一 个 是 TCP 层 面 的 MO 超 时 ， 另 一 个 是 业 
务 罗 辑 层面 的 操作 超时 。 两 者 没有 必然 的 联系 ， 但 是 通 稼 情况 下 业务 珊 
辑 超 时 时 间 应 该 大 于 VO 超时 时 间 ， 它 们 两 者 是 包含 的 关系 。 


相关 代码 举例 如 图 19-6 所 示 。 


图 19-6 ”IO 超时 时 间 配 置 





ChannelFuture 超 时 时 间 配 置 如 图 19-7 所 示 。 


图 19-7 ”ChannelFuture 超 时 时 间 配 置 





需要 指出 的 是 : ChannelFuture 超 时 并 不 代表 WO 超时 ， 这 意味 着 
ChannelFuture 超 时 后 ， 如 果 没 有 关闭 连接 资源 ， 随 后 连接 依旧 可 能 会 成 
功 ， 这 会 导致 严重 的 问题 。 所 以 通常 情况 下 ， 必 须要 考虑 究竟 是 设置 
IO 超时 还 是 ChannelFuture 超 时 。 





19.2 ”ChannelFuture 源 码 分 析 


ChannelFuture 的 接口 继承 关系 如 图 19-8 所 示 。 


图 19-8 ”ChannelFuture 接 口 继承 关系 图 








AbstractFuture 


AbstractFuture 实 现 Future 接 口 ， 它 不 允许 W/O 操作 被 取消 。 下 面 我 们 
重点 看 它 的 代码 实现 。 


获取 异步 操作 结果 的 代码 如 图 19-9 所 示 。 








图 19-9 同步 获取 IO 操作 结果 


首先 ， 调 用 await() 方 法 进行 无 限期 阻塞 ， 当 LO 操作 完成 后 会 被 
notifyO。 程 序 继续 向 下 执行 ， 检 查 IO 操 作 是 否 发 生 了 异常 ， 如 果 没 有 
异常 ， 则 通过 getNow() 方 法 获取 结果 并 返回 。 和 否则 ， 将 异常 堆栈 进行 包 
装 ， 抛 出 ExecutionException 。 


接着 我 们 看 文 持 超 时 的 获取 操作 结果 方法 ， 如 图 19-10 所 示 。 





图 19-10 ”支持 获取 超时 的 方法 


支持 超时 很 简单 ， 调 用 await(ong timeout, TimeUnit unit) 方 法 即 可 。 
如 果 超 时 ， 则 抛 出 TimeoutException。 如 果 没 有 超时 ， 则 依次 判断 是 否 
发 生 了 LO 异常 等 情况 ， 操 作 与 无 参数 的 get 方 法 相同 。 





其 他 ChannelFuture 的 实现 子 类 ， 由 于 功能 比较 简单 ， 读 者 阅读 起 来 


也 没 太 大 难度 ， 所 以 这 里 不 再 花费 时 间 进 行 详细 解读 ， 感 兴趣 的 读者 可 
以 独立 阅读 和 分 析 。AbstractFuture 的 继承 关系 如 图 19-11 所 示 。 


图 19-11 ”AbstractFuture 的 继承 关系 图 





19.3 “Promise 功 能 介绍 





Promise 是 可 写 的 Future，Future 自 身 并 没有 写 操 作 相 关 的 接口 ， 
Netty 通 过 Promise 对 Future 进 行 扩展 ， 用 于 设置 IO 操作 的 结果 。Future 相 
关 的 接口 定义 如 图 19-12 所 示 。 


图 19-12 ”Netty 的 Future 接 口 定 义 


Promise 相 关 的 写 操作 接口 定义 如 图 19-13 所 示 。 





图 19-13 ”Promise 写 操作 相关 的 接口 定义 


Netty 发 起 VO 操作 的 时 候 ， 会 创建 一 个 新 的 Promise 对 象 ， 例 如 调用 
ChannelHandler Context 的 write(Object object) 方 法 时 ， 会 创建 一 个 新 的 
ChannelPromise， 相 关 代 码 如 图 19-14 所 示 。 


图 19-14 IO 操作 时 创建 一 个 新 的 Promise 








当 WO 操 作 发 生 异 常 或 者 完成 时 ， 设 置 Promise 的 结果 ， 代 码 如 图 19- 
15 所 示 。 








图 19-15 ”IO 操作 异常 时 调用 tryFailure 方 法 设置 结 


19.4 ”Promise 源 公分 析 
19.4.1 Promise 7k X AA 


由 于 IO 操作 种 类 非常 多 ， 因 此 对 应 的 Promise 子 类 也 非常 繁多 ， 它 
的 继承 关系 如 图 19-16 所 示 。 


图 19-16 ”Promise 继 承 关系 图 


尽管 Promise 的 子 类 种 类 繁多， 但 是 它 的 功能 相对 比较 清晰 ， 代 码 
也 较为 简单 ， 因 此 我 们 只 分 析 一 个 它 的 实现 子 类 的 源码 ， 如 果 读 者 对 其 
他 子 类 感 兴趣 ， 可 以 目 行 学 习 。 


19.4.2 DefaultPromise 


下 面 看 比较 重要 的 setSuccess 方 法 的 实现 ， 如 图 19-17 所 示 。 





19-17 ”DefaultPromise 的 setSuccess 方 法 


自 先 调用 setSuccess0 方 法 并 对 其 操作 结果 进行 判断 ， 如 果 操 作成 
功 ， 则 调用 notifyListeners 方 法 通知 listener。 


setSuccess0 方 法 的 实现 如 图 19-18 所 示 。 





图 19-18 ”DefaultPromise 的 setSuccess0 私 有 方法 





首先 判断 当前 Promise 的 操作 结果 是 否 已 经 被 设置 ， 如 果 已 经 被 设 
置 ， 则 不 允许 重复 设置 ， 返 回 设置 失败 。 


由 于 可 能 存在 VO 线程 和 用 户 线 程 同时 操作 Promise， 所 以 设置 操作 


结 末 的 时 候 需要 加 锁 保 护 ， 防 止 并 发 操作 。 


对 操作 结果 是 否 被 设置 进行 二 次 判断 (为 了 提升 并 发 性 能 的 二 次 判 
断 )， 如 果 已 经 被 设置 ， 则 返回 操作 失败 。 
对 操作 结果 result 进 行 判 断 ， 如 果 为 空 ， 说 明 仅仅 需要 notify 在 等 符 


的 业务 线程 ， 不 包含 具体 的 业务 逻辑 对 象 。 因 此 ， 将 result 设 置 为 系统 
默认 的 SUCCESS。 如 果 操 作 结 果 非 空 ， 将 结果 设置 为 result。 


如 采 有 正在 等 竺 异步 IO 操作 完成 的 用 户 线 程 或 者 其 他 系统 线程 ， 
则 调用 notifyAll 方 法 唤醒 所 有 正在 等 竺 的 线程 。 注 意 ，notifyAll 和 wait 方 
法 都 必须 在 同步 块 内 使 用 。 


分 析 完 setSuccess0 方 法 ， 我 们 继续 看 await 方 法 的 实现 ， 如 图 19-19 
所 示 。 


图 19-19 DefaultPromise 的 await 方 法 





如 采 当 前 的 Promise 已 经 被 设置 ， 则 直接 返回 。 如 采 线 程 已 经 被 中 
靳 ， 则 抛 出 中 断 异 党 。 通 过 同步 关键 字 锁 定 当 前 Promise 对 象 ， 使 用 循 
环 判 断 对 isDone 结 果 进 行 判 断 ， 进 行 循环 判断 的 原因 是 防止 线程 被 意外 
唤醒 导致 的 功能 异常 。 如 果 对 循环 判断 的 实现 原理 感 兴趣 ， 读 者 可 以 查 
fi (Effective Java 中 文 版 第 2 版 》 第 243 页 对 wait 和 和 notify 用 法 的 讲解 。 











由 于 在 IO 线程 中 调用 Promise 的 await 或 者 sync 方 法 会 导致 死 锁 ， 所 
以 在 循环 体 中 需要 对 死 锁 进行 保护 性 校 验 ， 防 止 WO 线 程 被 挂 死 ， 最 后 
调用 java.lang.Object.wait() 方 法 进行 无 限期 等 待 ， 直 到 IO 线程 调用 
setSuccess 方 法 、trySuccess 方 法 、setFailure 或 者 tryFailure 方 法 。 








19.5 J£ 


本 章 重 点 介绍 了 Future 和 Promise， 由 于 Netty 中 的 IO 操作 种 类 繁 
多 ， 所 以 Future 和 Promise 的 子 类 也 非常 繁多 。 尽 管 这 些 子 类 的 功能 
异 ， 但 本 质 上 都 是 异步 WO 操作 结果 的 通知 回调 类 。Future-Listener 机 制 
在 JDK 中 的 应 用 已 经 非常 广泛 ， 所 以 本 章 并 没有 对 这 些 子 类 的 实现 做 过 
多 的 源码 分 析 ， 和 希望 读者 在 本 章 源码 分 析 的 基础 上 目 行 学 习 其 他 相关 子 
类 的 实现 。 


无 论 Future 还 是 Promise， 都 强烈 建议 读者 通过 增加 监听 器 Listener 的 
方式 接收 异步 IO 操 作 结 果 的 通知 ， 而 不 是 调用 wait 或 者 sync 阻 署 用 户 线 


程 。 


染 构 和 行业 应 用 篇 ”Netty 忆 级 特性 


78203: ”Java 多 线程 编程 在 Netty 中 的 应 用 
第 21 章 ”Netty 架 构 剖 析 
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第 23 章 ”Netty 未 来 展望 


P20% Java 多 线程 编程 在 Netty 中 
的 应 用 


作为 异步 事件 驱动 、 高 性 能 的 NIO 框 架 ，Netty 代 码 中 大 量 运 用 了 
Java 多 线程 编程 技巧 。 并 发 编程 处 理 的 恰当 与 否 ， 将 直接 影响 架构 的 性 
能 。 本 章 通 过 对 Netty 源 码 的 分 析 ， 结 合并 发 编程 的 常用 技巧 ， 来 讲解 
多 线程 编程 在 Netty 中 的 应 用 。 











本 章 主 要 内 容 包 括 : 


e. Java 内 存 模型 与 多 线程 编程 
e. Netty 的 并 发 编程 剖析 


20.1 Java 内 存 模型 与 多 线程 编程 
20.11 便 件 的 发 展 和 多 任务 处 理 


随 着 人 硬件， 特别 是 多 核 处 理 器 的 发 展 和 价格 的 下 降 ， 多 任务 处 理 已 
经 是 所 有 操作 系统 必 备 的 一 项 基本 功能 。 在 同一 个 时 刻 让 计算 机 做 多 件 
事情 ， 不 仅 是 因为 处 理 器 的 并 行 计 算 能 力 得 到 了 很 大 提升 ， 还 有 一 个 重 
要 的 原因 是 计算 机 的 存储 系统 、 网 络 通信 等 IO 性 能 与 CPU 的 计算 能 
差距 太 大 ， 导 致 程序 的 很 大 一 部 分 执行 时 间 被 浪费 在 WO wait 上 面 ， 
CPU 的 强大 运算 能 力 没 有 得 到 充分 地 利用 。 








Java 提 供 了 很 多 类 库 和 工具 用 于 降低 并 发 编程 的 门槛 ， 提 升 开 发 效 
率 ， 一 些 开 源 的 第 三 方 软件 也 提供 了 额外 的 并 发 编程 类 库 方 便 Java 开 发 
者 ， 使 开发 者 将 重心 放 在 业务 逻辑 的 设计 和 实现 上 ， 而 不 是 处 处 考虑 线 
程 的 同步 和 锁 。 但 是 ， 无 论 并 发 类 库 设计 得 如 何 完 美 ， 它 都 无 法 完全 满 
足 用 户 的 需求 。 对 于 一 个 高 级 Java 程 序 员 来 说 ， 如 果 不 懂 得 Java 并 改编 
程 的 原理 ， 只 懂得 使 用 一 些 简 单 的 并 发 类 库 和 工具 ， 是 无 法 完全 构 驭 
Java 多 线程 这 匹 野 马 的 。 











20.1.2 ”Java 内 存 模型 


JVM 规 范 定义 了 Java 内 存 模型 (Java Memory Model) 来 屏蔽 掉 各 种 
操作 系统 、 虚 拟 机 实现 厂商 和 硬件 的 内 存 访问 差异 ， 以 确保 Java 程 序 在 
所 有 操作 系统 和 平台 上 能 够 实现 一 次 编写 、 到 处 运行 的 效果 。 


Java 内 存 模型 的 制定 既 要 严谨 ， 保 证 语义 无 靶 义 ， 还 要 尽量 制定 得 
宽松 一 些 ， 人 允许 各 硬件 和 虚拟 机 实现 广 商 有 足够 的 灵活 性 来 充分 利用 硬 
件 的 特性 提升 Java 的 内 存 访问 性 能 。 随 着 JDK 的 发 展 ，Java 的 内 存 模型 


己 经 逐渐 成 熟 起 来 。 


1. 工作 内 存 和 主 内 存 





Java 内 存 模 型 规定 所 有 的 变量 部 存储 在 主 内 存 中 (JVM 内 存 的 一 部 


分 ) ， 每 个 线程 有 目 己 独立 的 工作 内 存 ， 它 保存 了 被 该 线程 使 用 的 变量 
的 主 内 存 复制 。 线 程 对 这 些 变量 的 操作 都 在 自己 的 工作 内 存 中 进行 ， 不 
能 直接 操作 主 内 存 和 其 他 工作 内 存 中 存储 的 变量 或 者 变量 副本 。 线 程 间 























的 变量 访问 需 通 过 主 内 存 来 完成 ， 三 者 的 关系 如 图 20-1 所 示 。 


问 ， 





图 20-1 ” Java 内存 访问 模型 


2. Java 内 存 交 互 协议 





Java 内 存 模型 定义 了 8 种 操作 来 完成 主 内 存 和 工作 内 存 的 变量 访 
具体 如 下 。 





lock: 主 内 存 变 量 ， 把 一 个 变量 标识 为 某 个 线程 独占 的 状态 。 
unlock: 主 内 存 变量 ， 把 一 个 处 于 锁定 状态 变量 释放 出 来 ， 被 释放 
后 的 变量 才 可 以 被 其 他 线程 锁定 。 

read: 主 内 存 变量 ， 把 一 个 变量 的 值 从 主 内 存 传输 到 线程 的 工作 内 
存 中 ， 以 便 随 后 的 load 动 作 使 用 。 

load: 工作 内 存 变 量 ， 把 read 读 取 到 的 主 内 存 中 的 变量 值 放 入 工作 
内 存 的 变量 副本 中 。 

use: 工作 内 存 变 量 ， 把 工作 内 存 中 变量 的 值 传递 给 Java 虚 拟 机 执行 
引擎 ， 每 当 虚 拟 机 遇 到 一 个 需要 使 用 到 变量 值 的 字 节 码 指 令 时 ， 将 
会 执行 该 操作 。 

assign: 工作 内 存 变 量 ， 把 从 执行 引擎 接收 到 的 变量 的 值 赋值 给 工 








作 变 量 ， 每 当 虚拟 机 遇 到 一 个 给 变量 赋值 的 字 节 码 时， 将 会 执行 访 
操作 。 

© stores 工作 内 存 变量 ， 把 工作 内 存 中 一 个 变量 的 值 传送 到 主 内 存 
中 ， 以 便 随 后 的 write 操作 使 用 。 

e write: 主 内 存 变量 ， 把 store 操 作 从 工作 内 存 中 得 到 的 变量 什 放 入 主 
内 存 的 变量 中 。 


3. Java 的 线程 


并 发 可 以 通过 多 种 方式 来 实现 ， 例 如 : 单 进程 一 单线 程 模 型 ， 通 过 
在 一 台 服 务 器 上 局 动 多 个 进程 来 实现 多 任务 的 并 行 处 理 。 但 是 在 Java 语 
言 中 ， 通 常 是 通过 单 进程 一 多 线程 的 模型 进行 多 任务 的 并 发 处 理 。 因 | 
此 ， 我 们 有 必要 熟悉 一 下 Java 的 线程 。 





大 家 都 知道 ， 线 程 是 比 进程 更 轻 量 级 的 调度 执行 单元 ， 它 可 以 把 进 
程 的 资源 分 配 和 调度 执行 分 开 ， 各 个 线程 可 以 共 胖 内 存 、LIO 等 操作 系 
统 资 源 ， 但 是 又 能 够 被 操作 系统 发 起 的 内 核 线程 或 者 进程 执行 。 各 线程 
可 以 独立 地 启动 、 运 行 和 停止 ， 实 现任 务 的 解 耦 。 








主流 的 操作 系统 提供 了 线程 实现 ， 目 前 实现 线程 的 方式 主要 有 三 
种 ， 分 别 如 下 。 


(1) 内 核 线 程 (KLT) 实现 ， 这 种 线程 由 内 核 来 完成 线程 切换 ， 
内 核 通 过 线程 调度 器 对 线程 进行 调度 ， 并 负责 将 线程 任务 映射 到 不 同 的 
Ab D. 


(2) 用户 线 程 实 现 〈UT) , WATR, HF REEE E 
立 在 用 户 空间 线程 床上 的 线程 ， 用 户 线 程 的 创建 、 局 动 、 运 行 、 销 毁 和 








切换 完全 在 用 户 态 中 完成 ， 不 需要 内 核 的 帮助 ， 因 此 执行 性 能 更 高 。 
(3) 混合 实现 ， 将 内 核 线 程 和 用 户 线程 混合 在 一 起 使 用 的 方式 。 


由 于 虚拟 机 规范 并 没有 强制 规定 Java 的 线程 必须 使 用 哪 种 方式 实 
现 ， 因 此 ， 不 同 的 操作 系统 实现 的 方式 也 可 能 存在 差异 。 对 于 SUN 的 
JDK， 在 Windows 和 Linux 操 作 系 统 上 采用 了 内 核 线程 的 实现 方式 ， 在 
Solaris 版 本 的 JDK 中 ， 提 供 了 一 些 专 有 的 虚拟 机 线程 参数 ， 用 于 设置 使 
用 哪 种 线程 模型 。 





20.2 ”Netty 的 并 发 编程 实践 
20.2.4. ”对 共享 的 可 变数 据 进行 正确 的 同步 





关键 字 synchronized 可 以 保证 在 同一 时 刻 ， 只 有 一 个 线程 可 以 执行 
某 一 个 方法 或 者 代码 块 。 同 步 的 作用 不 仅仅 是 互 斥 ， 它 的 另 一 个 作用 就 
是 共享 可 变性 ， 当 某 个 线程 修改 了 可 变数 据 并 释放 锁 后 ， 其 他 线程 可 以 
获取 被 修改 变量 的 最 新 值 。 如 采 没 有 正确 的 同步 ， 这 种 修改 对 其 他 线程 
是 不 可 见 的 。 


下 面 我 们 就 通过 对 Netty 源 码 的 分 析 ， 看 看 Netty 是 如 何 对 并 发 可 变 
数据 进行 正确 同步 的 。 





以 ServerBootstrap 为 例 进 行 分 析 ， 首 先 看 它 的 option 方 法 ， 如 图 20-2 
所 示 。 











图 20-2 ”同步 关键 字 的 使 用 


这 个 方法 的 作用 是 设置 ServerBootstrap 的 ServerSocketChannel 的 
Socket 属 性 ， 它 的 属性 集 定 义 如 下 。 


由 于 是 非 线 程 安全 的 LinkedHashMap， 所 以 当 多 线程 创建 、 访 问 和 
修改 LinkedHashMap 时 ， 必 须 在 外 部 进行 必要 的 同步 。LinkedHashMap 
的 API DOC 对 于 线程 安全 的 说 明 如 图 20-3 所 示 。 





图 20-3 ”LinkedHashMap 线 程 安全 API 说 明 





由 于 ServerBootstrap 是 被 外 部 使 用 者 创建 和 使 用 的 ， 我 们 无 法 保证 
它 的 方法 和 成 员 变 量 不 被 并 发 访问 ， 因 此 ， 作 为 成 员 变 量 的 options 必 须 


进行 正确 地 同步 。 由 于 考虑 到 锁 的 范围 需要 尽 可 能 的 小 ， 我 们 对 传 参 的 
option 和 value 的 合法 性 判断 不 需要 加 锁 。 因 此 ， 代 码 才 对 两 个 判断 分 文 
独立 加 锁 ， 保 证 锁 的 范围 尽 可 能 的 细 粒 度 。 


Netty 加 锁 的 地 方 非常 多 ， 大 家 在 阅读 代码 的 时 候 可 能 会 有 体会 ， 
为 什么 有 的 地 方 要 加 锁 ， 有 的 地 方 有 不 需要 ? 如 条 不 需要 ， 为 什么 ? 当 
你 对 锁 的 使 用 原理 理解 以 后 ， 对 于 这 些 锁 的 使 用 时 机 和 技巧 理解 起 来 就 
非常 容易 了 。 


20.2.2 ”正确 的 使 用 锁 








很 多 刚 接 触 多 线程 编程 的 开发 者 ， 虽 然 意识 到 了 并 发 访问 可 变 变量 
需要 加 锁 ， 但 是 对 于 锁 的 范围 、 加 锁 的 时 机 和 锁 的 协同 缺乏 认识 ， 往 往 
会 导致 出 现 一 些 问 题 。 下 面 我 就 结合 Netty 的 代码 来 讲解 下 这 方面 的 知 


Wo 


打开 ForkJoinTask， 我 们 学 习 一 些 多 线程 同步 和 协作 方面 的 技巧 。 
首先 是 当 条 件 不 满足 时 阻塞 某 个 任务 ， 直 到 条 件 满足 后 再 继续 执行 ， 代 
码 如 图 20-4 所 示 。 





图 20-4 多 线程 协作 











重点 看 框 线 中 的 代码 ， 首 移 通 过 循环 检测 的 方式 对 状态 变量 status 
进行 判断 ， 当 它 的 状态 大 于 等 于 0 时 ， 执 行 waitD)， 阻 塞 当前 的 调度 线 
程 ， 直 到 status 小 于 0， 唤 醒 所 有 被 阻塞 的 线程 ， 继 续 执行 。 这 个 方法 有 
以 下 三 个 多 线程 的 编程 技巧 需要 说 明 。 


C1) wait 方 法 用 来 使 线程 等 待 茶 个 条 件 ， 它 必须 在 同步 块 内 部 被 
调用 ， 这 个 同步 块 通常 会 锁定 当前 对 象 实 例 。 下 面 是 这 个 模式 的 标准 使 





用 方式 。 


synchronized (this) 
{ 
while(condition) 
Object .wait; 


(2) 始终 使 用 wait 循 环 来 调用 wait 方 法 ， 永 远 不 要 在 循环 之 外 调用 
wait 方 法 。 这 样 做 的 原因 是 尽管 并 不 满足 被 唤醒 条 件 ， 但 是 由 于 其 他 线 
程 调用 notifyAl(0 方 法 会 导致 被 阻塞 线程 意外 唤醒 ， 此 时 执行 条 件 并 不 
满足 ， 它 将 破坏 被 锁 保护 的 约定 关系 ， 导 致 约束 失效 ， 引 起 意 想不到 的 
结果 。 


(3) 唤醒 线程 ， 应 该 使 用 notify 还 是 notifyAll， 当 你 不 知道 究竟 该 
调用 哪个 方法 时 ， 保 守 的 做 法 是 调用 notifyAll 唤 醒 所 有 等 待 的 线程 。 从 
优化 的 角度 看 ， 如 果 处 于 等 待 的 所 有 线程 都 在 等 待 同 一 个 条 件 ， 而 每 次 
只 有 一 个 线程 可 以 从 这 个 条 件 中 被 唤醒 ， 那 么 就 应 该 选择 调用 notify。 





当 多 个 线程 共享 同一 个 变量 的 时 候 ， 每 个 读 或 者 与 数据 的 操作 方法 
都 必须 加 锁 进 行 同步 ， 如 果 没 有 正确 的 同步 ， 就 无 法 保证 一 个 线程 所 做 
的 修改 被 其 他 线程 共 圣 。 未 能 同步 共 译 变量 会 造成 程序 的 活性 失败 和 安 
全 性 失败 ， 这 样 的 失败 通常 是 难以 调试 和 重 现 的 ， 它 们 可 能 间歇 性 地 出 
问题 ， 可 能 随 着 并 发 的 线程 个 数 增加 而 失败 ， 也 可 能 在 不 同 的 虚拟 机 或 
者 操作 系统 上 存在 不 同 的 失败 概率 。 因 此 ， 务 必要 保证 锁 的 正确 使 用 。 
下 面 这 个 采 例 ， 就 是 个 典型 的 错误 应 用 。 





int size = 0; 


public synchronized void increase() 


{ 
sizet+; 
} 
public int current() 
{ 
Return size; 
} 





20.2.3 ” ”volatile 的 正确 使 用 


长 久 以 来 大 家 对 于 volatile 如 何 正 确 使 用 有 很 多 的 争议 ， 既 便 是 一 些 
经 验 丰 富 的 Java 设 计 师 ， 对 于 volatile 和 多 线程 编程 的 认识 仍然 存在 误 
区 。 其 实 ，volatile 的 使 用 非常 简单 ， 只 要 理解 了 Java 的 内 存 模型 和 多 线 
程 编 程 的 基础 知识 ， 正 确 使 用 volatile 是 不 存在 任何 问题 的 。 下 面 我 们 结 
合 Netty 的 源码 ， 对 volatile 的 正确 使 用 进行 说 明 。 





打开 NioEventLoop 的 代码 ， 我 们 来 看 控制 VO 操作 和 其 他 任务 运行 
比例 的 ioRatio， 它 是 int 类 型 的 变量 ， 定 义 如 下 。 





我 们 发 现 ， 它 被 定义 为 volatile， 为 什么 呢 ? 我 们 首先 对 volatile 关 键 
字 进 行 说 明 ， 然 后 再 结合 Netty 的 代码 进行 分 析 。 


关键 字 volatile 是 Java 提 供 的 最 轻 量 级 的 同步 机 制 ，Java 内 存 模型 对 
volatile 专 门 定 义 了 一 些 特殊 的 访问 规则 。 下 面 我 们 就 看 它 的 规则 。 





当 一 个 变量 被 volatile 修 饰 后 ， 它 将 具备 以 下 两 种 特性 。 





线程 可 见 性 : 当 一 个 线程 修改 了 被 Volatile 修饰 的 变量 后 ， 无 论 是 合 
加 锁 ， 其 他 线程 都 可 以 立即 看 到 最 新 的 修改 ， 而 普通 变量 却 做 不 到 
这 点 。 

茶 止 指令 重 排序 优化 ， 普 通 的 变量 仅仅 保证 在 该 方法 的 执行 过 程 中 
所 有 依赖 赋值 结束 的 地 方 都 能 获取 正确 的 结果 ， 而 不 能 保证 变量 赋 
值 操 作 的 顺序 与 程序 代码 的 执行 顺序 一 致 。 举 个 简单 的 例子 说 明 下 
旨 令 重 排序 优化 问题 ， 如 图 20-4 所 示 。 











图 20-4 ”指令 重 排序 和 优化 导致 线程 无 法 退出 





我 们 预期 程序 会 在 3s 后 停止 ， 但 是 实际 上 它 会 一 直 执行 下 去 ， 原 因 
就 是 虚拟 机 对 代码 进行 了 指令 重 排序 和 优化 ， 优 化 后 的 指令 如 下 。 


if (!stop) 


While(true) 


重 排 序 后 的 代码 是 无 法 发 现 stop 被 主线 程 修改 的 ， 因 此 无 法 停止 运 
行 。 要 解决 这 个 问题 ， 只 要 将 stop 前 增加 volatile 修 饰 符 即 可 。 代 码 修改 
如 图 20-5 所 示 。 

















图 20-5 volatile 解决 指令 重 排序 和 编译 优化 问题 


再 次 运行 ， 我 们 发 现 3s 后 程序 退出 ， 达 到 了 预期 效果 ， 使 用 volatile 
解决 了 如 下 两 个 问题 。 





main 线 程 对 stop 的 修改 在 workThread 线 程 中 可 见 ， 也 就 是 说 
workThread 线 程 立即 看 到 了 其 他 线程 对 于 stop 变 量 的 修改 。 
禁止 指令 重 排序 ， 防 止 因 为 重 排序 导致 的 并 发 访问 逻辑 混乱 。 


一 些 人 认为 使 用 volatile 可 以 代 丛 传统 锁 ， 提 升 并 发 性 能 ， 这 个 认识 
征 错误 的 。volatile 仅 仅 解决 了 可 见 性 的 问题 ， 但 是 它 并 不 能 保证 互 斥 
性 ， 也 就 是 说 多 个 线程 并 发 修改 菏 个 变量 时 ， 依 旧 会 产生 多 线程 问题 。 
办 此， 不 能 徘 volatile 来 完全 蔡 代 传统 的 锁 。 





根据 经 验 总 结 ，volatile 最 适合 使 用 的 是 一 个 线程 写 、 其 他 线程 读 的 
场合 ， 如 果 有 多 个 线程 并 发 写 操 作 ， 仍 然 需要 使 用 锁 或 者 线程 安全 的 容 
需 或 者 原子 变量 来 代 答 。 





讲 了 volatile 的 原理 之 后 ， 我 们 继续 对 Netty 的 源码 做 分 析 。 上 面 讲 
到 了 ioRatio 被 定义 成 volatile， 下 和 面 看 看 代码 为 什么 要 这 样 定义 。 参 见 如 
图 20-6 所 示 代 码 。 





图 20-6 ”volatile 在 NioEventLoop 线 程 中 的 应 用 





通过 代码 分 析 我 们 发 现 ， 在 NioEventLoop 线 程 中 ，ioRatio 并 没有 被 
修改 ， 它 是 只 读 操 作 。 既 然 没 有 修改 ， 为 什么 要 定义 成 volatile 呢 ? 继续 
看 代码 ， 我 们 发 现 NioEventLoop 提 供 了 重新 设置 IO 执行 时 间 比 例 的 公 
共 方 法 ， 接 口 如 图 20-7 所 示 。 





图 20-7 ”修改 volatile 变 量 





首先 ，NioEventLoop 线 程 没 有 调用 该 方法 ， 说 明 调 整 VO 执 行 时间 
比例 是 外 部 发 起 的 操作 ， 通 常 是 由 业务 的 线程 调用 该 方法 ， 重 新 设置 该 
参数 。 这 样 就 形成 了 一 个 线程 写 、 一 个 线程 恋 ， 根 据 前 面 针 对 volatile 的 





应 用 总 结 ， 此 时 可 以 使 用 volatile 来 代 谷 传统 的 synchronized 关 键 字 提升 
并 发 访问 的 性 能 。 


Netty 中 大 量 使 用 了 volatile 来 修改 成 员 变 量 ， 如 果 理 解 了 volatile 的 
应 用 场景 ， 读 懂 Netty volatile 的 相关 代码 还 是 比较 容易 的 。 


20.2.4 CAS 指 令 和 原子 类 





互 斥 同步 最 主要 的 问题 就 是 进行 线程 阻 竖 和 唤醒 所 带 来 的 性 能 的 额 
外 损耗 ， 因 此 这 种 同步 被 称 为 阻 暑 同步 ， 它 属于 一 种 悲观 的 并 发 打上 略 ， 
我 们 称 之 为 恶 观 锁 。 随 独 便 件 和 操作 系统 指令 集 的 发 展 和 优化 ， 产 生 了 
非 阻塞 同步 ， 被 称 为 乐观 锁 。 简 单 地 说 ， 就 是 先进 行 操作 ， 操 作 完 成 之 
后 再 判断 操作 是 个 成 功 ， 和 是 否 有 并 发 问题 ， 如 果 有 则 进行 失败 补偿 ， 如 
打 没 有 就 算 操 作成 功 ， 这 样 融 从 根本 上 避免 了 同步 锁 的 浆 端 。 


目前 ， 在 Java 中 应 用 最 广泛 的 非 阻 塞 同 步 就 是 CAS， 在 IA64、X86 
指令 集中 通过 cmpxchg 指 令 完 成 CAS 功 能 ， 在 sparc-TSO 中 由 case 指 令 完 
成 ， 在 ARM 和 PowerPC 架 构 下 ， 需 要 使 用 一 对 Idrex/strex 指 令 完 成 。 


从 JDK1.5 以 后 ， 可 以 使 用 CAS 操 作 ， 该 操作 由 sun.misc.Unsafe 类 里 
的 compareAndSwapInt0 和 compareAndSwapLongO 等 方法 包装 提供 。 通 
常情 况 下 sun.misc.Unsafe 类 对 于 开发 者 是 不 可 见 的 ， 因 此 ，JDK 提 供 了 
很 多 CAS 包 关 类 和 何 化 开发 者 的 使 用 ， 如 AtomicInteger。 


下 面 ， 结 合 Netty 的 源码 ， 我 们 对 原子 类 的 正确 使 用 进行 详细 说 
明 。 


打开 ChannelOutboundBuffer 的 代码 ， 看 看 如 何 对 发 送 的 总 字 节 数 进 
行 计 数 和 更 新 操作 ， 先 看 定义 ， 如 图 20-8 所 示 。 

















图 20-8 ”原子 类 的 应 用 





首先 定义 了 一 个 volatile 的 变量 ， 它 可 以 保证 某 个 线程 对 于 
totalPendingSize 的 修改 可 以 被 其 他 线程 立即 访问 ， 但 是 ， 它 无 法 保证 多 
线程 并 发 修改 的 安全 性 。 紧 接着 又 定义 了 一 个 AtomicIntegerFieldUpdater 
类 型 的 变量 WTOTAL_PENDING_SIZE_UPDATER， 实 现 
totalPendingSize 的 原子 更 新 ， 也 就 是 保证 totalPendingSize 的 多 线程 修改 
并 发 安全 性 ， 我 们 重点 看 AtomicIntegerFieldUpdater 的 API 说 明 ， 如 图 20- 
9 所 示 。 





图 20-9 AtomicIntegerFieldUpdater Java DOC 说 明 


从 API 的 说 明 可 以 看 出 ， 它 主要 用 于 实现 volatile 修 饰 的 int 变 量 的 原 
子 更 新 操作 ， 对 于 使 用 者 ， 必 须 通 过 类 似 compareAndSet 或 者 set 或 者 与 
这 些 操作 等 价 的 原子 操作 来 保证 更 新 的 原子 性 ， 人 否则 会 导致 问题 。 








继续 看 代码 ， 当 执行 write 操作 外 发 消 妃 的 时 候 ， 需 要 对 外 发 的 消息 
字 节 数 进 行 统计 汇总 。 由 于 调用 write 操作 的 既 可 以 是 MO 线程 ， 也 可 以 
是 业务 的 线程 ， 还 可 能 由 业务 线程 池 多 个 工作 线程 同时 执行 发 送 任务 ， 
因此 ， 统 计 操 作 是 多 线程 并 发 的 ， 这 也 就 是 为 什么 要 将 计数 器 定义 成 
volatile 并 使 用 原子 更 新 类 进行 原子 操作 。 下 面 看 计数 的 代码 ， 如 图 20- 
10 所 示 。 











图 20-10 ”通过 自 旋 对 计数 器 进行 更 新 





首先 ， 我 们 发 现 计 数 操作 并 没有 使 用 锁 ， 而 是 利用 CAS 上 自 旋 操作 ， 
通过 TOTAL_ PENDING_SIZE_UPDATER.compareAndSet(this, oldValue, 
newWriteBufferSize) 来 判断 本 次 原子 操作 是 否 成 功 ， 如 果 成 功 则 退出 循 
环 ， 代 人 码 继续 执行 ， 如 果 失 败 ， 说 明 在 本 次 操作 的 过 程 中 计数 器 已 经 被 


其 他 线程 更 新 成 功 ， 需 要 进入 循环 ， 首 先 对 oldValue 进 行 更 新 ， 代 码 如 
(sa 


oldValue - totalPendingSize; 


然后 重新 对 更 新 值 进 行 计 算 。 


newwriteBufferSize = oldValue + size; 


继续 循环 进行 CAS 操 作 ， 直 到 成 功 。 它 跟 AtomicInteger 的 
compareAndSet 操 作 类 似 。 


使 用 Java 目 带 的 Atomic 原 子 类 ， 可 以 避免 同步 锁 带 来 的 并 发 访问 性 
能 降低 的 问题 ， 减 少 犯 错 的 机 会 ， 因 此 ，Netty 中 对 于 int、long、 
boolean 等 成 员 变 量 大 量 使 用 其 原子 类 ,减少 了 锁 的 应 用 ， 从 而 降低 了 频 
繁 使 用 同步 锁 带 来 的 性 能 下 降 。 


20.2.5 ”线程 安全 类 的 应 用 











在 JDK1.5 的 发 行 版 本 中 ，Java 平 台新 增 了 java.util.concurrent， 这 个 
包 中 提供 了 一 系列 的 线程 安全 集合 、 容 右 和 线程 池 ， 利 用 这 些 新 的 线程 
安全 类 可 以 极 大 地 降低 Java 多 线程 编程 的 难度 ， 提 升 开 发 效率 。 





新 的 并 发 编程 包 中 的 工具 可 以 分 为 如 下 4 类 。 


e 线程 池 Executor Framework 以 及 定时 任务 相关 的 类 库 ， 包 括 Timer 


FY 
等 。 


e 并 发 集合 ， 包 括 List、Queue、Map 和 和 Set 等 。 
e 新 的 同步 器 ， 例 如 读 写 锁 ReadWriteLock 等 。 
e 新 的 原子 包 闭 类， 例如 AtomicInteger 等 。 


在 实际 编码 过 程 中 ， 我 们 建议 通过 使 用 线程 池 、 
Task (Runnable/Callable〉、 原 子 类 和 线程 安全 容器 来 代 蔡 传统 的 同步 
锁 、wait 和 notify， 以 提升 并 发 访问 的 性 能 、 降 低 多 线程 编程 的 难度 。 


下 面 ， 针 对 新 的 线程 并 发 包 在 Netty 中 的 应 用 进行 分 析 和 说 明 ， 以 
期 为 大 家 的 学 习 和 应 用 提供 指导 。 


站 先 看 下 线程 安全 容器 在 Netty 中 的 应 用 。NioEventLoop 是 WO 线 
程 ， 负 责 网 络 读 写 操作 ， 同 时 也 执行 一 些 非 O 的 任务 。 例 如 事件 通 
知 、 定 时 任务 执行 等 ， 因 此 ， 它 需要 一 个 任务 队列 来 缓存 这 些 Task。 它 
的 任务 队列 定义 如 图 20-11 所 示 。 





图 20-11 线程 任务 队列 定义 


它 是 一 个 ConcurrentLinkedQueue， 我 们 看 它 的 API 说 明 ， 如 图 20-12 
所 示 。 





图 20-12 “ConcurrentLinkedQueue 线 程 安全 文档 








DOC 文 档 明 确 说 明 这 个 类 是 线程 安全 的 ， 因 此 ， 对 它 进行 读 写 操作 
不 需要 加 锁 。 下 面 我 们 继续 看 下 队列 中 增加 一 个 任务 ， 如 图 20-13 所 


JINo 


| 


图 20-13 “ConcurrentLinkedQueue 新 增 Task 





读 取 任务 ， 也 不 需要 加 锁 ， 如 图 20-14 所 示 。 


图 20-14 ”ConcurrentLinkedQueue 读 取 Task 





JDK 的 线程 安全 容器 底层 采用 了 CAS、volatile 和 ReadWriteLock 实 
现 ， 相 比 于 传统 重量 级 的 同步 锁 ， 采 用 了 更 轻 量 、 细 粒度 的 锁 ， 因 此 ， 
性 能 会 更 高 。 合 理 地 应 用 这 些 线程 安全 容器 ， 不 仅 能 提升 多 线程 并 发 访 
问 的 性 能 ， 还 能 降低 开发 难度 。 








下 面 我 们 看 看 线程 池 在 Netty 中 的 应 用 ， 打 开 
SingleThreadEventExecutor 看 它 是 如 何 定义 和 使 用 线程 池 的 。 


首先 定义 了 一 个 标准 的 线程 池 用 于 执行 任务 ， 代 码 如 下 。 
接 看 对 它 赋 值 并 且 进 行 初始 化 操作 ， 代 码 如 下 。 


执行 任务 代码 如 图 20-15 所 示 。 





图 20-15 ”SingleThreadEventExecutor 任 务 执行 


我 们 发 现 ， 实 际 上 执行 任务 就 是 先 把 任务 加 入 到 任务 队列 中 ， 然 后 
判断 线程 是 否 已 经 启动 循环 执行 ， 如 果 不 是 则 需要 启动 线程 。 启 动 线程 
代码 如 图 20-16 所 示 。 











图 20-16 ”SingleThreadEventExecutor 启 动 新 的 线程 








实际 上 束 是 执行 当前 线程 的 run 方 法 ， 循 环 从 任务 队列 中 获取 Task 
并 执行 ， 我 们 看 它 的 子 类 NioEventLoop 的 run 方 法 就 能 一 日 了 然 ， 如 图 
20-17 所 示 。 





图 20-17 ”按照 WO 任务 比例 执行 任务 Task 





如 图 20-18 中 框 线 内 所 示 ， 循 环 从 任务 队列 中 获取 任务 并 执行 。 


图 20-18 ”循环 从 任务 队列 中 获取 任务 Task 并 执行 





Netty 对 JDK 的 线程 池 进 行 了 封装 和 改造 ， 但 是 ， 本 质 上 仍然 是 利用 
了 线程 池 和 线程 安全 队列 简化 了 多 线程 编程 。 


20.2.6” 读 写 锁 的 应 用 











JDK1.5 新 的 并 发 编程 工具 包 中 新 增 了 读 写 锁 ， 它 是 个 轻 量 级 、 细 粒 
度 的 锁 ， 合 理 地 使 用 读 写 锁 ， 相 比 于 传统 的 同步 锁 ， 可 以 提升 并 发 访问 
的 性 能 和 吞吐 量 ， 在 读 多 写 少 的 场景 下 ， 使 用 同步 锁 比 同步 块 性 能 高 一 
KERo 

尽管 在 JDK1.6 之 后 ， 随 着 JVM 团 队 对 JITI 即 时 编译 器 的 不 断 优 化 ， 
司 步 块 和 读 写 锁 的 性 能 差距 缩小 了 很 多 ， 但 是 ， 读 写 锁 的 应 用 依然 非常 
mam 


下 面 对 Netty 中 的 读 写 锁 应 用 进行 分 析 ， 让 大 家 掌握 读 写 锁 的 用 
法 。 打 开 HashedWheelTimer 代 码 ， 读 写 锁 定义 如 下 。 


当 新 增 一 个 定时 任务 的 时 候 使 用 了 读 锁 〈 如 图 20-19) ， 用 于 感知 
wheel 的 变化 。 由 于 读 锁 是 共享 锁 ， 所 以 当 有 多 个 线程 同时 调用 
newTimeout 时 ， 并 不 会 互 斥 ， 这 样 ， 就 提升 了 并 发 读 的 性 能 。 


图 20-19 Read Lock 的 使 用 


获取 并 删除 所 有 过 期 的 任务 时 ， 由 于 要 从 迭代 器 中 删除 任务 ， 所 以 
使 用 了 写 锁 ， 如 图 20-20 所 示 。 





图 20-20 Write Lock 的 使 用 


现 将 读 写 锁 的 使 用 场景 总 结 如 下 。 


主要 用 于 读 多 写 少 的 场景 ， 用 来 普 代 传统 的 同步 锁 ， 以 提升 并 发 访 
问 性 能 。 

该 写 锁 是 可 重 入 、 可 降级 的 ， 一 个 线程 获取 读 写 锁 后 ， 可 以 继续 递 
归 获 取 ; 从 写 锁 可 以 降级 为 读 锁 ， 以 便 快 速 释放 锁 资 源 。 
ReentrantReadWriteLock 文 持 获取 锁 的 公平 策略 ， 在 某 些 特殊 的 应 
用 场景 下 ， 可 以 提升 并 发 访问 的 性 能 ， 同 时 兼顾 线程 等 竺 公平 性 。 
读 写 锁 文 持 非 阻 堵 的 答 试 获取 锁 ， 如 有 果 获 取 失 败 ， 直 接 返 回 false， 
而 不 是 同步 阻塞 ， 这 个 功能 在 一 些 场景 下 非 营 有 用 。 例 如 多 个 线程 
同步 读 写 某 个 资源 ， 当 发 生 异 常 或 者 需要 释放 资源 的 时 候 ， 由 哪个 
线程 释放 是 个 难题 ， 因 为 某 些 资源 不 能 重复 释放 或 者 重复 执行 ， 这 
样 ， 可 以 通过 tryLock 方 法 尝试 获取 锁 ， 如 果 拿 不 到 ， 说 明 已 经 被 其 
他 线程 占用 ， 直 接 退 出 即 可 。 

获取 锁 之 后 一 定 要 释放 锁 ， 人 否则 会 发 生 锁 溢出 异 单 。 通 第 的 做 法 是 
通过 finally 块 释放 锁 。 如 果 是 tryLock， 获 取 锁 成 功 才 需要 释放 锁 。 


20.2.7 ”线程 安全 性 文档 说 明 

















当 一 个 类 的 方法 或 者 成 员 变 量 被 并 发 使 用 的 时 候 ， 这 个 类 的 行为 如 
何 ， 是 该 类 与 其 客户 端 程序 建立 约定 的 重要 组 成 部 分 。 如 果 没 有 在 这 个 
类 的 文档 中 描述 其 行为 的 并 发 情况 ， 使 用 这 个 类 的 程序 员 不 得 不 做 出 东 
种 假设 。 如 果 这 些 假设 是 错误 的 ， 这 个 程序 就 缺少 必要 的 同步 保护 ， 会 
导致 意 想 不 到 的 并 发 问题 ， 这 些 问题 通常 都 是 隐 菩 和 调试 困难 的 。 如 果 
同步 过 度 ， 会 导致 意外 的 性 能 下 降 ， 无 论 是 发 生 何 种 情况 ， 缺 少 线程 安 
全 性 的 说 明文 档 ， 都 会 令 开 发 人 员 非 党 泪 衫 ， 他 们 会 对 这 些 类 库 的 使 用 
NDR, Fem. 














在 Netty 中 ， 对 于 一 些 关 键 的 类 库 ， 给 出 了 线程 安全 性 的 API 
DOC (120-21) ， 尽 管 Netty 的 线程 安全 性 并 不 是 非常 完善 ， 但 是 ， 相 
比 于 一 些 做 的 更 糟糕 的 产品 ， 它 还 是 迈 出 了 重要 的 一 步 。 





图 20-21 ”ChannelPipeline 的 线程 安全 性 说 明 





由 于 ChannelPipeline 的 应 用 非常 广泛 ， 因 此 ， 在 API 中 对 它 的 线程 
安全 性 进行 了 详细 的 说 明 ， 这 样 ， 开 发 者 在 调用 ChannelPipeline 的 API 
时 ， 束 不 用 再 额外 地 考虑 线程 同步 和 并 发 问题 了 。 


20.2.8 不 要 依赖 线程 优先 级 


当 有 多 个 线程 同时 运行 的 时 候 ， 由 线程 调度 器 来 决定 哪些 线程 运 
行 、 哪 些 等 待 以 及 线程 切换 的 时 间 点 ， 由 于 各 个 操作 系统 的 线程 调度 器 
实现 大 相 径 妊 ， 因 此 ， 依 赖 IDK 目 带 的 线程 优先 级 来 设置 线程 优先 级 集 
略 的 方法 是 错误 和 非 平 台 可 移植 的 。 所 以 ， 在 任何 情况 下 ， 程 序 都 不 能 
依赖 JDK 自 带 的 线程 优先 级 来 保证 执行 顺序 、 比 例 和 策略 。 





Netty 中 默认 的 线程 工厂 实现 类 ， 开 放 了 包含 设置 线程 优先 级 字段 
的 构造 函数 。 这 是 个 错误 的 决定 ， 对 于 使 用 者 来 说 ， 既 然 JDK 关 库 提 供 
了 优先 级 字段 ， 就 会 本 能 地 认为 它 和 被 正确 地 执行 ， 但 实际 上 JDK 的 线程 
优先 级 是 无 法 跨 平 台 正 确 运 行 的 。 图 20-22 提 供 了 一 个 线程 优先 级 的 反 
面 示例 。 





图 20-22 ”线程 优先 级 的 反面 示例 


20.3 AH 


本 章 首 先 介绍 了 Java 内 存 模型 和 多 线程 编程 的 基础 知识 ， 然 后 结合 
Netty 的 源码 分 析 学 习 弟 用 的 多 线程 编程 方法 和 技巧 。 


通过 本 章节 的 讲解 ， 和 希望 读者 可 以 学 以 致 用 ， 在 后 续 的 工作 中 恰 到 
好 处 地 使 用 Java 并 发 编程 技术 ， 提 高 系统 的 并 发 处 理 能 力 ， 提 升 产 品 的 
性 能 。 


第 21 章 ”Netty 架 构 齐 析 


本 章 将 重点 分 析 Netty 的 逻辑 架构 ， 通 过 对 其 关键 架构 质量 属性 的 
分 析 ， 让 读者 朋友 能 够 更 加 深入 地 了 解 Netty 的 设计 精髓 。 


希望 读者 在 今后 的 架构 设计 中 能 够 从 Netty 染 构 中 汲取 营养 ， 设 计 
出 高 性 能 、 高 可 靠 性 和 可 扩展 的 产品 。 


本 章 主 要 内 容 包 括 : 


e. Netty 逻 辑 架 构 分 析 
。 关键 架构 质量 属性 


21.1 Netty 4h 42h) 


Netty 采 用 了 典型 的 三 层 网 络 架构 进行 设计 和 开发 ， 还 辑 架 构 如 图 
21-1 所 示 。 





图 21-1 Netty 逻 辑 架 构图 














21.1.1 Reactor 通信 调度 层 


它 由 一 系列 辅助 类 完成 ， 包 括 Reactor 线 程 NioEventLoop 及 其 父 类 、 
NioSocketChannel/ NioServerSocketChannel 及 其 父 类 、ByteBuffer 以 及 由 
其 衍生 出 来 的 各 种 Buffer、Unsafe 以 及 其 衍生 出 的 各 种 内 部 类 等 。 该 层 
的 主要 职责 就 是 监听 网 络 的 读 写 和 连接 操作 ， 负 责 将 网 络 层 的 数据 读 取 
到 内 存 缓冲 区 中 ， 然 后 触发 各 种 网 络 事件 ， 例 如 连接 创建 、 连 接 激活 、 
读 事 件 、 写 事件 等 ， 将 这 些 事件 触发 到 PipeLine 中 ， 由 PipeLine 管 理 的 
职责 链 来 进行 后 续 的 处 理 。 





21.1.2 ”职责 链 ChannelPipeline 


它 负 责 事件 在 职责 链 中 的 有 序 传 播 ， 同 时 负责 动态 地 编排 职责 链 。 
职责 链 可 以 选择 监 蝗 和 处 理 自己 关心 的 事件 ， 它 可 以 拦截 处 理 和 癌 后 / 
问 前 传播 事件 。 不 同 应 用 的 Handler 节 点 的 功能 也 不 同 ， 通 常情 况 下 ， 
往往 会 开发 编 解 码 Hanlder 用 于 消息 的 编 解 合 ， 它 可 以 将 外 部 的 协议 消 
县 转换 成 内 部 的 POJO 对 象 ， 这 样 上 层 业 务 则 只 需要 关心 处 理 业 务 逻 辑 
即 可 ， 不 需要 感知 底层 的 协议 差异 和 线程 模型 差异 ， 实 现 了 架构 层面 的 
分 层 隔离 。 


21.13 ”业务 逻辑 编排 层 (Service ChannelHandler ) 


业务 逻辑 编排 层 通 常 有 两 类 : 一 类 是 纯粹 的 业务 逻辑 编排 ， 还 有 一 
类 是 其 他 的 应 用 层 协 议 插件 ， 用 于 特定 协议 相关 的 会 话 和 链 路 管理 。 例 
如 CMPP 协 议 ， 用 于 管理 和 中 国 移动 短信 系统 的 对 接 。 








染 构 的 不 同 层面 ， 需 要 关心 和 处 理 的 对 象 都 不 同 ， 通 常情 况 下 ， 对 
于 业务 开发 者 ， 只 需要 关心 职 贡 链 的 拦截 和 业务 Handler 的 编排 ， 因 为 
应 用 层 协 议 栈 往往 是 开发 一 次 ， 到 处 运行 ， 实 际 上 对 于 业务 开发 者 来 
说 ， 只 需要 关心 服务 层 的 业务 逻辑 开发 即 可 。 各 种 应 用 协议 以 插件 的 形 
式 提 供 ， 只 有 协议 开 有 发 人 员 需 要 关注 协议 插件 ， 对 于 其 他 业务 开 及 人 员 
来 说 ， 只 需 关 心 业务 逻辑 定制 即 可 。 这 种 分 层 的 架构 设计 理念 实现 了 
NIO 框 架 各 层 之 间 的 解 厢 ， 便 于 上 层 业 务 协议 栈 的 开 及 和 业务 逻辑 的 定 
制 |。 





正 是 由 于 Netty 的 分 层 染 构 设 计 非 第 合理 ， 基 于 Netty 的 各 种 应 用 服 
务 器 和 协议 栈 开发 才能 够 如 雨 后 春 敌 般 得 到 快速 发 展 。 





21.2 KEATS i Æ Je PE 

21.2.1 ”高 性 能 

影响 最 终 产品 的 性 能 因素 非常 多 ， 其 中 软件 因素 如 下 。 
架构 不 合理 导致 的 性 能 问题 。 


编码 实现 不 合理 导致 的 性 能 问题 ， 例 如 锁 的 不 恰当 使 用 导致 性 能 瓶 
人 颈 。 


便 件 因素 如 下 。 


服务 器 硬件 配置 太 低 导致 的 性 能 问题 。 
带宽 、 磁 盘 的 IOPS 等 限制 导致 的 MO 操作 性 能 
测试 环境 被 共用 导致 被 测试 的 软件 产品 "m 


尽管 影响 产品 性 能 的 因素 非常 多 ， 但 是 架构 的 性 能 模型 合理 与 人 否 对 
性 能 的 影 啊 非 常 大。 如 果 一 个 产品 的 架构 设计 得 不 好 ， 无 论 开 用 如 何 努 
力 ， 都 很 难 开发 出 一 个 高 性 能 、 高 可 用 的 软件 产品 。 


“性 能 是 设计 出 来 的 ， 而 不 是 测试 出 来 的 ”。 下 面 我 们 看 Netty 的 架构 
设计 是 如 何 实 现 高 性 能 的 。 


(1) 采用 异步 非 阻 塞 的 IO 类 库 ， 基 于 Reactor 模 式 实 现 ， 解 决 了 传 
统 同步 阻 豆 IO 模式 下 一 个 服务 问 无 法 平滑 地 处 理 线 性 增长 的 客户 端的 


问题 。 


(2) TCP 接 收 和 发 送 缓冲 区 使 用 直接 内 存 代 蔡 堆 内 存 ， 避 免 了 内 
存 复 制 ， 提 升 了 IO 读 取 和 写 入 的 性 能 


(3) 文 持 通过 内 存 池 的 方式 循环 利用 ByteBuf， 避 免 了 频繁 创建 和 
销毁 ByteBuf 带 来 的 性 能 损耗 。 


(4) 可 配置 的 IO 线程 数 、TCP 参 数 等 ， 为 不 同 的 用 户 场景 提供 定 
制 化 的 调 优 参数 ， 满 足 不同 的 性 能 场景 。 


(50 采用 环形 数组 缓冲 区 实现 无 锁 化 并 发 编程 ， 代 蔡 传统 的 线程 
安全 容器 或 者 锁 。 





(6) 合理 地 使 用 线程 安全 容 句 、 原 子 类 等 ， 提 升 系统 的 并 发 处 理 
能 力 。 


(7) 关键 资源 的 处 理 使 用 单线 程 串 行 化 的 方式 ， 避 人 免 多 线程 并 发 
访问 带 来 的 锁 竞 争 和 额外 的 CPU 资源 消耗 问题 。 





(8) 通过 引用 计数 器 及 时 地 申请 释放 不 再 被 引用 的 对 象 ， 细 粒度 
的 内 存 管理 降低 了 GC 的 频率 ， 减 少 了 频繁 GC 带 来 的 时 延 增 大 和 CPU 损 
TÉ. 

无 论 是 Netty 的 官方 性 能 测试 数据 ， 还 是 携带 业务 实际 场景 的 性 能 
测试 ，Netty 在 各 个 NIO 框 架 中 综合 性 能 是 最 高 的 。 下 面 ， 我 们 来 看 
Netty 官 方 的 性 能 测试 数据 ， 如 图 21-2、21-3、21-4 和 21-5 所 示 。 











图 21-2 64 和 128 字 节 测 试 消息 (本 机 网 卡 回 环 》 


图 21-3 256 和 1K 字 节 测 试 消息 《本 机 网 卡 回环 ) 























图 21-4 ”64 和 128 字 节 测 试 消息 〈 跨 主机 通信 ) 











图 21-5 256 和 1K 字 节 测 试 消息 〈 跨 主机 通信 ) 





21.2.2 可靠 性 





作为 一 个 蜗 性 能 的 异步 通信 框架 ， 架构 的 可 徘 性 是 大 家 选择 的 一 个 
重要 依据 。 下 面 我 们 探讨 Netty 染 构 的 可 徘 性 设计 。 





1. 链 路 有 效 性 检测 


由 于 长 连接 不 需要 每 次 发 送 消 恩 部 创建 链 路 ， 也 不 需要 在 消息 交互 
完成 时 关闭 链 路 ， 因 此 相对 于 短 连 接 性 能 更 高 。 对 于 长 连接 ， 一 旦 链 路 
建立 成 功 便 一 直 维 系 双方 之 间 的 链 路 ， 直 到 系统 退出 。 








为 了 保证 长 连接 的 链 路 有 效 性 ， 往 往 需 要 通过 心跳 机 制 周期 性 地 进 
行 链 路 检测 。 使 用 周期 性 心跳 的 原因 是 : 在 系统 空 采 时 ， 例 如 凌晨 ， 往 
往 没有 业务 消 息 。 如 果 此 时 链 路 被 防火 墙 Hang 住 ， 或 者 人 遭 壳 网络 内 断 、 
网 络 单 通 等 ， 通 信 双 方 无 法 识别 出 这 类 链 路 异常 。 等 到 第 二 天 业务 高 峰 
期 到 来 时 ， 瞬 间 的 海量 业务 冲击 会 导致 消息 积压 无 法 友 送 给 对 方 ， 由 于 
链 路 的 重建 需要 时 间 ， 这 期 间 业 务 会 大 量 失败 (集群 或 者 分 布 式 组 网 情 
况 会 好 一 些 ) 。 为 了 解决 这 个 问题 ， 需 要 周期 性 的 心跳 对 链 路 进行 有 效 
性 检测 ， 一 旦 发 生 问 题 ， 可 以 及 时 关闭 链 路 ， 重 建 TCP 连 接 。 


当 有 业务 消息 时 ， 无 须 心 跳 检测 ， 可 以 由 业务 消 妃 进行 链 路 可 用 性 
检测 。 所 以 心跳 消 晨 往往 是 在 链 路 空 几 时 进行 发 送 有 的 。 
为 了 文 持 心跳 ，Netty 提 供 了 如 下 两 种 链 路 空闲 检测 机 制 。 
e 该 空 采 超时 机 制 : 当 连 续 周 期 T 没 有 消息 可 读 时 ， 触 发 超时 
Handler， 用 户 可 以 基于 读 空 亲 超 时 发 送 心跳 消息 ， 进 行 链 路 检 


测 ， 如 果 连 续 N 个 周期 仍然 没有 读 取 到 心跳 消息 ， 可 以 主动 关闭 链 
路 。 


。 SARIN ALG: 当 连 续 周 期 T 没 有 消息 要 发 送 时 ， 触 用 超时 
Handler， 用 户 可 以 基于 写 空 亲 超时 发 送 心跳 消息 ， 进 行 链 路 检 
训 ;， 如 采 连 续 N 个 周期 仍然 没有 接收 到 对 方 的 心跳 消息 ， 可 以 主动 
关闭 链 路 。 





为 了 满足 不 同 用 户 场景 的 心跳 定制 ，Netty 提 供 了 空间 状 态 检 测 事 
件 通知 机 制 ， 用 户 可 以 订阅 空闲 超时 事件 、 写 空闲 超时 事件 、 读 或 者 写 
超时 事件 ， 在 接收 到 对 应 的 空闲 事件 之 后 ， 灵 活 地 进行 定制 。 





2. 内存 保护 机 制 





Netty 提 供 多 种 机 制 对 内 存 进行 保护 ， 包 括 以 下 儿 个 方面 。 


e. 通过 对 象 引 用 计数 器 对 Netty 的 ByteBuf 等 内 置 对 象 进行 细 粒 度 的 内 
存 申 请 和 释放 ， 对 非法 的 对 象 引 用 进行 检测 和 保护 。 

e. 通过 内 存 池 来 重用 ByteBuf， 节 省 内 存 。 

。 可 设置 的 内 存 容量 上 限 ， 包 括 ByteBuf、 线 程 池 线程 数 等 。 


AbstractReferenceCountedByteBuf 的 内 存 管理 方法 实现 如 图 21-6、 
21-7 所 示 。 




















图 21-6 ”对 象 引 用 





图 21-7 对 象 引 用 释放 





ByteBuf 的 解码 保护 ， 防 止 非法 码 流 导致 内 存 游 出， 代码 如 图 21-8 
所 示 。 





图 21-8 ”解码 器 单条 消息 最 大 长 度 上 限 保护 





如 果 长 度 解 码 器 没有 单个 消息 最 大 报 文 长 度 限制 ， 当 解码 错位 或 者 
该 取 到 畸形 码 流 时 ， 长 度 值 可 能 是 个 超大 整数 值 ， 例 如 4294967296， 这 
很 容易 导致 内 存 洲 出 。 如 果 有 上 限 保护 ， 例 如 单条 消息 最 大 不 允许 超过 
10M， 当 读 取 到 非法 消息 长 度 4294967296 后 ， 直 接 抛 出 解码 异常 ， 这 样 
就 避免 了 大 内 存 的 分 配 。 


3. 优雅 停机 


相 比 于 Netty 的 早期 版 本 ，Netty5.0 版 本 的 优雅 退出 功能 做 得 更 加 完 
善 。 优 雅 停 机 功能 指 的 是 当 系 统 退 出 时 ，JVM 通 过 注册 的 Shutdown 
Hook 拦 截 到 退出 信号 量 ， 然 后 执行 退出 操作 ， 释 放 相 关 模块 的 资源 占 
用 ， 将 绥 冲 区 的 消 奶 处 理 完成 或 者 清空 ， 将 等 刷 新 的 数据 持久 化 到 磁盘 
或 者 数据 库 中 ， 等 到 资源 回收 和 缓冲 区 消息 处 理 完 成 之 后 ， 再 退出 。 





优雅 停机 往往 需要 设置 个 最 大 超时 时 间 T， 如 果 达 到 T 后 系统 仍然 
没有 退出 ， 则 通过 Kill - 9 pid 强 杀 当前 的 进程 。 


Netty 所 有 涉及 到 资源 回收 和 释放 的 地 方 都 增加 了 优雅 退出 的 方 
法 ， 它 们 的 相关 接口 如 表 21-1 所 示 。 























表 21-1 Netty 重 要 资源 的 优雅 退出 方法 








21.2.3 可 定制 性 


Netty 的 可 定制 性 主要 体现 在 以 下 几 点 。 





责任 链 模 式 : ChannelPipeline 基 于 责任 链 模 式 开 发 ， 便 于 业务 逻辑 
的 拦截 、 定 制 和 扩展 。 
基于 接口 的 开发 : 关键 的 类 库 都 提供 了 接口 或 者 抽象 类 ， 如 果 





Netty 目 壬 的 实现 无 法 满足 用 户 的 需求 ， 可 以 由 用 户 自 定义 实现 相 
KIRA « 

e 提供 了 大 量 工 三 类， 通过 重 载 这 些 工厂 类 可 以 按 需 创建 出 用 户 实 现 
的 对 象 。 

。 提供 了 大 量 的 系统 参数 供用 户 按 需 设置 ， 增 强 系统 的 场景 定制 性 。 


21.2.4 可 扩展 性 


基于 Netty 的 基础 NIO 框 架 ， 可 以 方便 地 进行 应 用 层 协议 定制 ， 例 如 
HTTP 协 议 栈 、Thrift 协 议 栈 、FTP 协 议 栈 等 。 这 些 扩 展 不 需要 修改 Netty 
的 源码 ， 直 接 基于 Netty 的 二 进 制 类 库 即 可 实现 协议 的 扩展 和 和 定制 。 














目前 ， 业 界 存 在 大 量 的 基于 Netty 框 架 开 发 的 协议 ， 例 如 基于 Netty 
的 HTTP 协 议 、Dubbo 协 议 、RocketMQ 内 部 私有 协议 等 。 


21.3 总 结 


本 章 首 先 对 Netty 的 逻辑 染 构 进行 了 分 层 和 介绍 ， 让 读者 能 够 从 架 
构 的 层面 了 解 Netty， 随 后 对 Netty 的 关键 架构 质量 属性 进行 了 详细 分 析 
和 介绍 。 通 过 对 Netty 架 构 的 剖析 和 讲解 ， 希 望 读者 能 够 掌握 如 何 设计 
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第 22 章 ”Netty 行 业 应 用 


随 着 移动 互联 网 的 发 展 ， 使 用 轻 量 级 、 分 布 式 、 具 备 弹性 伸缩 能 
的 架构 代 蔡 传统 基于 Tomcat 等 Web 容 器 的 垂直 架构 已 经 成 为 一 种 必然 的 
趋势 。 








服务 拆 分 和 分 布 式 部 署 之 后 ， 各 服务 市 反之 间 需 要 通过 通信 协议 进 
行 跨 节 点 通信 ， 考 虑 到 是 内 部 市 点 之 间 的 通信 ， 从 性 能 和 可 维护 性 角度 
考虑 ， 往 往 会 选用 性 能 更 高 、 扩 展 性 更 好 的 内 部 私有 协议 。 





随 着 大 数据 的 应 用 和 发 展 ， 基 于 Hadoop 的 MapReduce 得 到 了 越 来 越 
多 的 应 用 。Hadoop 中 的 MapReduce 是 一 个 使 用 简易 的 软件 框架 ， 基 于 它 
写 出 来 的 应 用 程序 能 够 运行 在 由 上 于 个 商用 机 器 组 成 的 大 型 集群 上 上 ， 并 
以 一 种 可 靠 容错 的 方式 并 行 处 理 上 TT 级别 的 数据 集 。 





无 论 是 互联 网 的 分 布 式 服务 框架 ， 还 是 Hadoop 的 并 行 计算 框架 ， 它 
们 集群 组 网 中 的 各 个 证 点 需要 通过 高 性 能 的 通信 框架 来 实现 同步 或 者 卉 
步 RPC 调 用 。Netty 作 为 成 熟 高 性 能 的 异步 通信 框 染 ， 成 为 了 这 些 产 品 的 
首选 。 





本 章 主 要 内 容 包 括 : 


。 Netty 在 互联 网 行业 的 应 用 
。 Netty 在 大 数据 领域 的 应 用 
e. Netty 在 网 络 游戏 服 务 器 中 的 应 用 











22.1 Netty 在 互联 网 行业 的 应 用 
211 传统 垂直 架构 面临 的 问题 


随 着 互联 网 的 发 展 ， 网 站 应 用 的 规模 不 断 扩 大 ， 第 规 的 垂直 应 用 架 
构 已 无 法 应 对 ， 分 布 式 服务 架构 势 在 必 行 ， 鹃 需 一 个 治理 系统 来 确保 加 
构 有 条 不 率 地 演进 。 互 联网 以 构 的 演进 历史 如 图 22-1 所 未 。 


图 22-1 互联 网 染 构 的 演进 历史 








使 用 传统 垂直 应 用 架构 面临 的 主要 挑战 如 下 。 


D 前 后 人 台 耦 合 ， 业 务 无 法 有 效 拆 分 ， 随 着 规模 的 膨胀 和 业务 越 
来 越 复 杂 ， 系 统 的 开发 和 维护 成 本 越 来 越 高 ， 最 终 会 导致 不 可 控 。 





(2) 由 于 缺乏 高 性 能 的 RPC 框 淋 ， 导 致 集群 节点 间 通 信 效 率 低 
下 ， 系 统 无 法 平滑 扩容 。 


(3) 缺少 统一 的 服务 注册 中 心 对 集群 服务 进行 管理 ， 导 致 系统 无 
法 弹性 伸缩 。 


(4) 当 服 务 越 来 越 多 时 ， 无 法 对 服务 进行 有 效 的 容量 评估 和 服务 
治理 。 


22.1.2 ”阿里 分 布 式 服务 框架 Dubbo 


作为 分 布 式 服务 框架 ， 使 用 Dubbo 将 传统 基于 Tomcat 等 冬 直 本 地 应 
用 进行 服务 化 。 分 布 式 服务 化 面临 的 主要 问题 如 下 。 


D 服务 分 布 式 部 普 之 后 ， 需 要 高 性 能 的 内 部 通信 协议 实现 异步 


RPC 调 用 。 


(2) 当 服 务 越 来 越 多 时 ， 服 务 URL 配 置 管理 变 得 非常 困难 ，F5 硬 
件 负载 均衡 器 的 单 点 压力 也 越 来 越 大 。 


(3) 当 进 一 步 发 展 后 ， 服 务 间 依赖 关系 变 得 错 踩 复杂 ， 甚 全 分 不 
清 哪 个 应 用 要 在 哪个 应 用 之 前 局 动 ， 染 构 师 都 不 能 完整 的 插 述 应 用 的 染 
MAR 


(4) ARS EY Vel ERROR, IRA AS ET UA es OR, RT 
服务 需要 多 少 机 器 文 撑 ? 什么 时 候 该 加 机 器 ? 


Dubbo 的 解决 方案 如 下 。 


(1) 基于 Netty+ 二 进 制 编 解码 框架 实现 了 内 部 私有 协议 一 一 Dubbo 
协议 ， 来 代替 原来 的 RMI、HTTP+XML 等 协议 ， 提 升 节 点 之 间 的 通信 性 


Ab 
HE o 








(2) 将 Zookeeper 作 为 服务 注册 中 心 ， 动 态 地 注册 和 发 现 服务 ， 使 
服务 的 位 置 透明 ， 并 通过 在 消费 方 获 取 服 务 提供 方 地 址 列表 ， 实 现 软 负 
载 均衡 和 Failover， 降 低 对 F5 人 硬件 负载 均衡 器 的 依赖 ， 也 能 减少 部 分 成 
本 。 


(3) 服务 治理 框架 自动 画 出 应 用 间 的 依赖 关系 图 ， 以 帮助 架构 师 
理 清 关系 。 





(4) 为 了 解决 这 些 问题 ， 首 先 ， 要 将 服务 现在 每 天 的 调用 量 和 啊 
应 时 间 都 统计 出 来 ， 作 为 容量 规划 的 参考 指标 。 其 次 ， 要 可 以 动态 调整 
权重 ， 在 线 上 将 茶 合 机 需 的 权重 一 直 加 大 ， 并 在 加 大 的 过 程 中 记录 啊 应 
时 间 的 变化 ， 直 到 啊 应 时 间 到 达 阀 值 ， 记 录 此 时 的 访问 量 ， 再 以 此 访问 





量 乘 以 机 器 数 反 推 总 容量 。 
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图 22-2 ”Dubbo 服 务 治理 框架 








22.1.3 Dubbo 的 架构 介绍 


Dubbo 的 注册 中 心 基于 Zookeeper 实 现 ， 服 务 的 订阅 和 发 布 流程 如 图 


22-3 所 示 。 





图 22-3 ”Dubbo 服 务 订阅 和 发 布 流程 





各 系统 节点 的 角色 说 明 如 下 。 


Provider: 骏 露 服务 的 服务 提供 方 。 

Consumer: 调用 远程 服务 的 服务 消费 方 。 

Registry: 服务 注册 与 发 现 的 注册 中 心 。 

Monitor: 统计 服务 的 调用 次 调和 调用 时 间 的 监控 中 心 。 


一 /一 


Container: 服务 运行 容器 。 
各 节点 调用 关系 说 明 如 下 。 


0. IAA REM YUHS INK. ISAT HRA GEE o 

1. 服务 提供 者 在 局 动 时 ， 回 注册 中 心 注册 目 己 提供 的 服务 。 

2. 服务 消费 者 在 启动 时 ， 回 注册 中 心 订 阅 目 己 所 需 的 服务 。 

3. 注册 中 心 返回 服务 提供 者 地 址 列表 给 消费 者 ， 如 果 有 变更 ， 注 
册 中 心 将 基于 长 连接 推送 变更 数据 给 消费 者 。 

4. 服务 消费 者 从 提供 者 地 址 列表 中 ， 基 于 软 负 载 均 衡 算 法 ， 选 一 
台 提 供 者 进行 调用 ， 如 果 调 用 失败 ， 再 选 男 一 台 调 用 。 





5. 服务 消费 者 和 提供 者 在 内 存 中 累计 调用 次 数 和 调用 时 间 ， 定 时 
每 分 钟 及 送 一 次 统计 数据 到 监控 中 心 。 





Dubbo 架 构 的 主要 质量 属性 如 下 。 
(1) 连通 性 


注册 中 心 负责 服务 地 址 的 注册 与 查找 ， 相 当 于 目录 服务 ， 服 务 提供 
者 和 消费 者 只 在 局 动 时 与 注册 中 心 交 互 ， 注 册 中 心 不 转 发 请 求 ， 压 
力 较 小 。 

监控 中 心 负责 统计 各 服务 调用 次 数 ， 调 用 时 间 等 ， 统 计 先 在 内 存 汇 
忆 后 每 分 钟 一 次 发 送 到 监控 中 心服 务 器 ， 并 以 报表 展示 。 

服务 提供 者 癌 注 册 中 心 注册 其 提供 的 服务 ， 并 汇报 调用 时 间 到 监控 
中 心 ， 此 时 间 不 包含 网 络 开 销 。 

服务 消费 者 向 注册 中 心 获 取 服 务 提供 者 地 址 列表 ， 并 根据 负载 算法 
直接 调用 提供 者 ， 同 时 汇报 调用 时 间 到 监控 中 心 ， 此 时 间 包 含 网 络 


开销 。 
注册 中 心 、 服 务 提供 者 、 服 务 消费 者 三 者 之 间 均 为 长 连接 ， 监 控 中 
心 除外 。 


注册 中 心 通过 长 连接 感知 服务 提供 者 的 存在 ， 服 务 提 供 者 宕 机 ， 注 
册 中 心 将 立即 推送 事件 通知 消费 者 。 

注册 中 心 和 监控 中 心 全 部 宕 机 ， 不 影响 已 运行 的 提供 者 和 消费 者 ， 
消费 者 在 本 地 缓存 了 提供 者 列表 。 

注册 中 心 和 监控 中 心 都 是 可 选 的， 服务 消 费 者 可 以 直 连 服务 提供 
者 。 





(2) 健壮 性 


监控 中 心 宕 掉 不 影响 使 用 ， 只 是 丢失 部 分 采样 数据 。 

数据 库 宕 掉 后 ， 注 册 中 心 仍 能 通过 缓存 提供 服务 列表 查询 ， 但 不 能 
注册 新 服务 。 

注册 中 心 对 等 集群 ， 任 意 一 台 宕 挥 后 ， 将 自动 切换 到 为 一 台 。 
注册 中 心 全 部 宕 挥 后 ， 服 务 提供 者 和 服务 消费 者 仍 能 通过 本 地 绥 存 
进行 通信 。 

服务 提供 者 无 状态 ， 任 意 一 台 宕 挥 后 ， 不 影响 使 用 。 

服务 提供 者 全 部 宕 挥 后 ， 服 务 消费 者 应 用 将 无 法 使 用 ， 并 无 限 次 重 
连 等 竺 服务 提供 者 恢复 。 























(3) 伸缩 性 


注册 中 心 为 对 等 集群 ， 可 动态 增加 机 顺 部 普 实 例 ， 所 有 客户 端 将 目 
动 发 现 新 的 注册 中 心 。 

服务 提供 者 无 状态 ， 可 动态 增加 机 器 部 署 实例 ， 注 册 中 心 将 推送 新 
的 服务 提供 者 信息 给 消费 者 。 





(4) 升级 性 


当 服 务 集 群 规模 进一步 扩大 ， 和 带动 IT 治 理 结构 进一步 升级 ， 雷 要 实 
现 动 态 部 著 ， 动 态 部 署 的 流程 如 图 22-4 所 示 。 





图 22-4 ”Dubbo 动 态 发 布 服 务 和 升级 
22.1.4 Netty 在 Dubbo 中 的 应 用 


Dubbo 的 RPC 远 程 服务 调用 默认 使 用 Nettyt+Dubbo 协 议 实现 ， 传 统 
RPC 服 务 调用 的 问题 如 下 。 


e 网 络 传输 方式 使 用 同步 阻塞 VO (BIO) 。 

。 序列 化 方式 使 用 Java 或 者 JSON 等 ， 性 能 差 ， 序 列 化 后 的 码 流 太 大 ， 
浪费 带宽 。 

传统 的 同步 阻塞 /O 每 个 TCP 连 接 占 用 一 个 线程 。 

JDK 动 态 代理 的 性 能 太 差 。 





高 性 能 的 RPC 框 以 需要 解决 的 问题 有 以 下 三 个 。 


协议 : 用 什么 数据 格式 进行 传输 ， 通 信 双 方 的 契约 。 
传输 : 用 什么 样 的 通道 将 数据 发 送 给 对 方 。 
线程 : 当 接收 到 数据 时 ， 如 何 分 发 数据 进行 处 理 。 


Dubbo _RCP 框 架 默 认 推 荐 使 用 Dubbo 协 议 进 行 通信 和 数据 传输 ， 相 
比 于 旧 的 Hessian 协 议 其 性 能 更 高 ， 而 且 文 持 异 步 JO 通 信 。 





Dubbo 的 远程 服务 调用 数据 流程 图 如 图 22-5 所 示 。 


图 22-5 “Dubbo 远 程 服务 调用 





Dubbo 的 RPC 框 架 通 过 Dubbo encode 方 法 将 POJO 对 象 编码 为 Dubbo 
协议 的 二 进 制 字 节 流 ， 通 过 Netty Client 发 送 给 服务 提供 者 ， 服 务 提供 者 
的 Netty Server 从 NioSocketChannel 读 取 二 进 制 码 流 ， 将 ByteBuffer 解 码 为 
Dubbo 请 求 消息 并 调用 服务 提供 者 ， 服 务 提 供 者 处 理 完成 之 后 ， 构 造 应 
答 ， 通 过 RPC 框 架 返 回 给 服务 调用 者 。Dubbo 协 议 消息 头 定 义 如 图 22-6 
所 示 。 


图 22-6 ”Dubbo 协 议 消 息 头 定义 








22.1.5 “Dubbo 框 架 集 成 Netty 源 人 码 分 析 


Netty 作 为 Dubbo RPC 框 架 的 遍 性 能 异步 NIO 框 架 ， 它 的 主要 职 贡 如 
下 。 


(1) 提供 异步 、 高 性 能 的 NIO 通 信和 框架 。 
(2) NIO 客 户 端 和 服务 端 。 

(3) 心跳 检测 能 力 。 

(4) 断 连 重 连 机 制 。 

(5) 流量 控制 。 

(6) Dubbo 协 议 的 编 解 码 Handler。 


下 面 我 们 看 它 的 源码 实现 ，Netty 框 架 的 代码 被 封装 在 transport 的 
netty 包 下 ， 源 码 的 目录 结构 如 图 22-7 所 示 。 


图 22-7 Netty 封 装 相 关 代码 





由 于 承载 Dubbo 协 议 的 是 TCP 而 不 是 具体 的 某 个 NIO 框 架 ， 所 以 
Dubbo 的 RPC 自 吴 不 能 与 Netty 框 架 耘 合 。 一 旦 耘 合 ， 未 来 升级 Netty 的 版 
本 或 者 切换 其 他 的 NIO 框 架 都 会 带 来 接口 层面 的 不 兼容 ，Dubbo 协 议 本 
身 也 同时 支持 Mina 和 grizzly， 所 以 ， 它 必须 对 NIO 框 架 进 行 统 一 地 抽 
象 ， 通 过 继承 或 者 聚合 的 方式 对 底层 NIO 框 架 的 实现 细节 进行 屏蔽 。 





首先 看 NettyClient， 它 负责 绑 定 本 地 端口 ， 发 起 连接 ， 关 闭 连 接 ， 
进行 章 连 等 ， 相 关 代 码 如 图 22-8 所 示 。 





图 22-8 ”Netty 客 户 端 启动 


Dubbo Netty 客 户 病 的 封装 与 之 前 讲解 的 其 他 例子 类 似 。 
(1) 问 ChannelPipeline 中 新 增 Dubbo 协 议 解 但 器 。 
(2) 辣 ChannelPipeline 中 新 增 Dubbo 协 议 编码 器 。 
(3) J=J]ChannelPipeline F #144 Dubbo Handler. 


下 面 我 们 继续 看 Dubbo 实 现 的 Netty Handler， 它 的 相关 方法 如 图 22- 
9 所 示 。 


图 22-9 Dubbo 协 议 的 ChannelHandler 


NettyHandler 持 有 了 Dubbo 自 定义 的 ChannelHandler， 通 过 


ChannelHandler 回 调 Dubbo 的 Filter， 实 现 RPC 服 务 调用 ， 图 22-10 为 示意 
X. 





图 22-10 Dubbo 基 于 Filter 的 服务 调用 





Dubbo 的 Netty 服 务 端 职责 如 下 。 


e 绑 定 本 地 监听 端口 ， 接 收 客户 端 的 连接 。 
。 管理 客户 端的 连接 状态 。 


它 的 代码 实现 如 图 22-11 所 示 。 


图 22-11 Dubbo Netty 服 务 端 实现 





由 于 实现 原理 与 前 儿 章 介绍 的 demo 类 似 ， 大 家 可 以 举一反三 ， 自 
行 阅读 相关 代码 ， 此 处 不 再 资 述 。 


心跳 检测 机 制 : Dubbo 没 有 直接 使 用 Netty 的 链 路 空闲 检测 机 制 进 行 
心跳 功能 的 开发 ， 而 是 提供 了 独立 的 ScheduledThreadPoolExecutor、 
HeartBeatTask 和 HeartbeatHandler 来 实现 心跳 检测 功能 


局 动心 跳 的 代码 如 图 22-12 所 示 。 








图 22-12 ”启动 Dubbo 心 跳 





停止 心跳 的 代码 如 图 22-13 所 示 。 


图 22-13 ”停止 Dubbo 心 跳 





提供 停止 心跳 检测 方法 的 原因 是 : 当 链 路 中 断 ， 在 客户 端 重 连 成 功 
之 前 ， 是 不 需要 发 送 心跳 的 ， 由 于 心跳 是 无 效 循环 定时 器 ， 所 以 链 路 中 
Wr HA E Fa AFE GRMI, A SS BA ETE E o 





心跳 检测 Task 的 代码 实现 如 图 22-14 所 示 。 





图 22-14 Dubbo 的 心跳 检测 Task 


代码 很 简单 ， 束 是 构造 心跳 请 求 消 息 ， 通 过 Channel 进 行 发 送 。 
跳 检测 超时 ， 需 要 关闭 链 路 ， 代 码 如 图 22-15 所 示 。 

















图 22-15 Dubbo 的 心跳 检测 超时 处 理 








22.2 ”Netty 在 大 数据 领域 的 应 用 


Apache ”Avro 是 一 个 独立 于 编程 语言 的 数据 序列 化 系统 ， 它 同时 提 
供 了 RPC 服 务 调用 能 力 。 该 项 目 是 由 Hadoop 之 父 Doug ”Cutting 创 建 的 ， 
旨 在 解决 Hadoop 中 Writable 类 型 的 不 足 一 一 缺乏 语言 的 可 移植 性 。 拥 有 
一 个 可 被 多 语言 处 理 的 数据 格式 与 绑 定 到 单一 语言 的 数据 格式 相 比 ， 前 
者 更 易于 与 公众 共享 数据 集 。 人 允许 其 他 编程 语言 能 够 读 写 序列 化 的 数据 
会 使 架构 具有 更 好 的 扩展 性 和 移植 性 。 








Avro 完全 依赖 模式 〈Schema) ， 通 过 Schema 定义 各 种 数据 结构 ， 
只 有 确定 了 Schema 才能 对 数据 进行 解释 ， 所 以 在 数据 的 序列 化 和 反 序 列 
化 之 前 ， 必 须 先 确定 Schema 的 结构 。 正 是 Schema 的 引入 ， 使 得 数据 县 
有 了 自 描 述 的 功能 ， 同 时 能 够 实现 动态 加 载 ， 男 外 与 其 他 的 数据 序列 化 
系统 如 Thrift 相 比 ， 数 据 之 间 不 存在 另外 的 任何 标识 ， 有 利于 提高 数据 
处 理 的 效率 。Avro 的 诸多 优势 ， 使 其 将 成 为 代 蔡 Hadoop 现 有 RPC 框 架 的 
下 一 代 通 信 中 间 件 。 


Avro 的 RCP 服 务 文 持 以 下 两 种 模式 。 


e. 传统 基于 Jetty 的 HTTP Server; 
。 新 的 基于 Netty 的 Netty Server。 


Avro 属 于 非常 轻 量 级 ， 实 现 简 洁 。 在 使 用 方面 便于 使 用 者 进行 二 次 
开发 ， 它 的 逻辑 架构 分 为 两 层 。 


(1) 网 络 传输 层 使 用 Netty 的 异步 通信 实现 〈 也 文 持 HITP 传 
输 ) ; 








(2) 协议 层 可 扩展 ， 目 前 支持 的 数据 序列 化 方式 有 Avro，Protocol 
Buffer，JSON，Hessian，Java 序 列 化 ， 使 用 者 可 以 注册 自己 的 协议 格式 
及 序列 化 方式 以 实现 协议 的 自 定义 扩展 。 


Avro 框架 的 主要 特点 如 下 。 


CO 客户 端 传输 层 与 应 用 层 逻 辑 分 离 ， 传 输 层 主 要 职责 包括 创建 
连接 、 连 接盘 找 与 复 用 、 传 输 数 据 、 接 收服 务 端 回复 后 回调 应 用 层 。 








(20 客户 端 文 持 同步 调用 和 异步 调用 ， 服 务 调用 异步 化 能 很 好 地 
提高 系统 否 吐 量 ， 降 低 对方 应 答 绥 慢 或 者 超时 导致 的 服务 线程 被 Hang 
住 ， 为 防止 腊 步 友 送 请 求 过 快 ， 客 望 闹 增加 了 “请 求 流量 限制 ”功能 。 


(3) 服务 端 有 一 个 协议 注册 工厂 和 序列 化 注册 工厂 ， 这 样 便于 针 
对 不 同 的 应 用 场景 来 定制 远程 服务 调用 方式 。RPC 框 染 只 是 远程 服务 调 
用 的 一 种 实现 方式 。 在 分 布 式 的 系统 染 构 中 ， 分 布 式 节点 之 间 的 通信 会 
存在 多 种 方式 ， 比 如 MQ 的 TOP 消 轧 ， 一 个 消 轧 可 以 有 多 个 订阅 者 ， 也 
可 以 通过 发 送 事 件 的 方式 进行 异 构 系统 或 者 分 布 式 市 点 直接 的 服务 调 
用 。 














(4) Avro 序 列 化 框架 是 Hadoop 下 的 一 个 子 项 目 ， 其 特点 是 数据 序 
列 化 不 带 标 签 ， 因 此 序列 化 后 的 数据 非常 小 。 文 持 动态 解析 ， 不 像 
Thrift Ej Protocol Buffer 必 须根 据 IDL 来 生成 代码 ， 这 样 对 用 户 代码 侵入 
性 比较 强 。 





(5) 序列 化 性 能 高 ， 基 本 上 能 够 和 Protocol Buffer 持 平 ， 远 远 高 于 
Java 序 列 化 、JSON 序 列 化 等 。 


Netty 在 Avro RPC 框 架 中 的 职员 与 Dubbo 中 的 类 似 ， 提 供 高 性 能 的 异 





步 NIO 通 信和 能 力 ， 由 于 代码 实现 原理 类 似 ， 所 以 此 处 不 再 歼 述 ， 感 兴趣 
的 读者 可 以 从 Avro 的 官网 Chttp://avro.apache.org/) 下 载 源码 进行 分 析 和 
学 习 。 


22.3 ”Netty 在 游戏 行业 的 应 用 


MMORPG 服 务 端 架 构 设 计 目 标 如 下 。 


廉价 的 系统 资源 配置 ， 例 如 商用 PC 机 组 成 的 集群 系统 。 
低 学 习 成 本 ， 例 如 使 用 Java 和 JS 蔡 换 C++ 和 PHP。 
高 性 能 。 


高 可 靠 性 。 





e 可 扩展 。 
e 可 跨 平 台 运 行 。 


要 达到 上 述 目 标 并 不 是 件 容 易 的 事情 ， 下 面 我 们 简单 学 习 一 下 游戏 
服务 器 的 架构 以 及 如 何在 游戏 服务 并 使 用 Netty。 





2231 ”游戏 服务 端 架 构 介绍 


通常 情况 下 ， 一 个 大 型 的 游戏 服务 并 的 结构 如 图 22-16 所 示 。 





图 22-16 ”游戏 服务 器 架构 
玩家 通过 账户 和 密码 进行 登录 ， 流 程 如 图 22-17 所 示 。 


图 22-17 玩家 登录 认证 流程 





登录 认证 流程 如 下 。 
(使 用 账户 、 密 码 ， 发 出 请 求 。 
DRAP, EI. 


@@ 人 允许 /拒绝 。 

@ 账 户 、 密 码 有 效 。 

允许 /拒绝 。 

@@ 是 否 有 账户 余额。 

(GO 允许 /拒绝 。 

图 加 密 用 户 ID， 生 成 令 牌 。 

@@ 人 允许 /拒绝 ， 最 终 返回 应 答 。 

选择 玩家 的 流程 如 图 22-18 所 示 ， 说 明 如 下 。 


图 22-18 选择 玩家 流程 图 





DEN TER, HIER: 
包 空 索引 队列 。 


请 求 账 户 角 色 列 表 。 
ORRA EJK. 

癌 玩 家 反馈 角色 信息 。 
OD 玩家 选择 角色 。 


@ 玩 家 I 有 DD 信息、 玩家 位 置信 息 等 。 


@ 根 据 规则 ， 提 议 地 图 服务 器 。 
(0 加 密 用 户 ID 与 地 图 服务 器 ID， 生 成 令 有 牧 。 
WD 选择 地 图 服务 器 ， 最 后 返回 应 答 。 


进入 游戏 流程 图 (图 22-19) 。 














图 22-19 ”进入 游戏 流程 图 





中 使 用 令 牌 ， 发 出 请 求 。 
QA FIDE i fEfR GA 
是 则 处 理 ， 否 则 每 待 。 
地 图 服务 器 处 理 或 等 待 。 
加 客户 端 随机 请 求 。 

6) 服务 器 端 随机 回复 。 

GO 其 他 玩家 信息 间 鞭 性 请 求 。 


(其 他 玩家 信息 间 区 性 回复 。 





游戏 服务 器 集群 组 网 示意 图 (图 22-20) 。 


图 22-20 ”游戏 服务 器 集群 组 网 


22.3.2 ”Netty 在 游戏 服务 端的 应 用 


Netty 在 游戏 服务 端的 应 用 ， 主 要 体现 在 以 下 几 点 。 





(1) 游戏 服务 器 有 多 种 角色 ， 它 们 之 间 需 要 频繁 地 通信 ， 例 如 地 
图 服务 器 、 网 关 服 务 嚣 器、 聊天 服务 器 等 。 利 用 Netty 的 异步 NIO 框 染 ， 
可 以 为 各 进程 之 间 提 供 高 性 能 的 异步 网 络 通 信和 能 力 。 

(2) 灵活 的 编 解码 定制 能 力 ， 可 以 满足 不 同 游戏 场景 下 多 协议 和 
私有 协议 编 解码 。 

(3) 可 配置 的 线程 池 、TCP 参 数 等 可 以 为 不 同 的 游戏 服务 器 进程 
提供 差异 化 的 定制 能 

(4) SSL、 黑 白 名 单 过 滤 等 可 以 直接 用 于 登录 认证 等 流程 。 

(5) 心跳 检测 、 流 量 整 形 、 日 志 统 计 等 原生 的 能 力 ， 可 以 提升 游 
戏 服 务 器 的 可 服务 性 。 


(6) 基于 内 存 池 的 对 象 重用 技术 ， 更 大 程度 上 重用 对 象 ， 节 省 内 
存 ， 降 低 GC 的 频 度 ， 降 低 玩家 被 卡 的 概率 。 





使 用 Netty 作 为 游戏 服务 器 之 间 的 内 部 通信 组 件 之 后 的 组 网 图 如 图 
22-21 所 示 。 








图 22-21 用 Netty 作 为 游戏 服务 器 之 间 的 内 部 通信 组 件 之 后 的 组 网 图 
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NettyTE 7g — ^ BUA Fe NIOXÉ fS EAS, NEST SHARE, 
目 身 也 提供 了 很 多 附加 的 功能 。 我 们 发 现 ， 无 论 是 互联 网 的 分 布 式 服务 
框架 ， 大 数据 的 RPC、 序 列 化 框架 ， 还 是 游戏 服务 器 。 尺 管 业务 场景 差 
异 很 大 ， 但 是 它们 对 Netty 的 使 用 原理 基本 一 人 臻 ， 都 是 利用 它 提 供 的 异 
步 通 信和 能 力 进 行 跨 市 点 的 数据 传输 或 者 服务 调用 。 





无 论 场景 如 何 改变 ， 只 要 涉及 到 系统 的 集群 组 网 或 者 分 布 式 部 著 ， 
就 需要 RPC 调 用 能 力 ， 由 于 Netty 的 优异 表现 ， 它 往往 是 首选 的 寞 步 通信 
框 染 。 希 望 通 过 本 间 的 学 习 ， 读 者 可 以 在 实际 工作 中 灵活 地 使 用 Netty 
为 目 己 的 产品 服务 。 


Ken DE : ， 
23% ”Netty 未 来 展望 
作为 本 书 的 结尾 章节 ， 和 读者 朋友 们 一 起 展望 下 Netty 的 未 来 。 

本 章 主要 内 容 包括 : 


MAG 
技术 党 进 
社区 活跃 度 
Road Map 


23.1 应 用 范围 


随 痢 大 数据 、 互 联网 和 云 计算 的 发 展 ， 传 统 的 垂直 以 构 逐 渐 将 被 分 
fuzX. SETEBPARIRUSTARTA ENT 








系统 只 要 分 布 式 部 晋 ， 就 存在 多 个 节点 之 间 通 信 的 问题 ， 由 于 是 内 
部 通信 ， 同 时 强调 高 可 扩展 性 和 高 性 能 ， 因 此 往往 会 选择 高 性 能 的 通信 
方式 ， 利 用 Netty + 二 进 制 编 解 码 承载 这 些 内 部 私有 协议 ， 已 经 逐渐 成 为 
业界 主流 的 用 法 。 例 如 阿里 的 分 布 式 服务 框架 Dubbo、RocketMQ、 
Hadoop 的 Avro 等 。 





随 着 JDK7 的 逐渐 普及 ，Java 的 原生 NIO 类 库 已 经 升级 到 了 NIO2.0， 
未 来 越 来 越 多 基于 传统 Socket 编 程 的 应 用 程序 会 切换 到 新 的 NIO 类 库 
上 上 ， 考 虑 到 切换 和 维护 成 本 ， 大 多 数 公 司 将 会 选择 Netty 或 者 Mina 作 为 
高 性 能 的 NIO 框 架 来 实现 异步 通信 。 





可 以 预见 在 未 来 2 一 3 年 内 ， 基 于 NIO 的 异步 通信 将 成 为 Java 网 络 编 
程 的 主流 ， 未 来 Netty 的 应 用 范围 将 会 越 来 越 广 。 


23.2 ”技术 演进 


随 着 JDK8 的 推出 ，ORACLE 公 司 也 加 大 了 JDK7 的 推广 力度 ， 并 给 
出 了 JDK6 的 deadline。Netty 的 5.X 系 列 版 本 将 紧 跟 JDK 的 发 展 潮流 ， 可 
以 预测 ， 越 来 越 多 JDK7 的 新 特性 将 被 Netty ”5.X 系 列 版 本 使 用 ， 最 引 人 
注目 的 一 个 就 是 NIO2.0 类 库 中 AIO 的 使 用 。 


让 我 们 拭目以待 Netty 5.0 正 式 版 本 的 推出 吧 。 


23.3 ”社区 活跃 度 


Netty 的 社区 一 直 非 常 活跃 ，API 文 档 和 开发 指南 内 容 也 比较 全 面 ， 
Bug 的 修复 速度 相对 较 快 ， 这 些 因素 促进 了 Netty 社 区 的 民 性 发 展 。 





23.4 Road Map 
Netty 的 版 本 更 新 市 奏 非 党 快 ， 主 要 原因 如 下 。 


。 Bug 的 修正 速度 较 快 。 
。 新 特性 的 推出 速度 快 。 


下 面 我 们 一 起 看 下 Netty 4.X 系 列 的 版 本 更 新 情况 ， 如 图 23-1 所 示 。 





图 23-1 Netty 4.X 系 列 的 版 本 更 新 一 览 表 





2013 年 12 月 22 日 ，Netty 推 出 了 新 的 Netty5.0.0.Alphal1， 这 预示 着 
2014 年 Netty 将 会 不 断 推出 5.0 系 列 的 公测 和 正式 版 本 ， 可 以 预测 ，5.0 系 
列 的 第 一 个 Final 版 本 可 能 会 在 2014 年 底 推出 ， 届 时 ,“ 赶 时 比 ”* 的 读者 朋 
友 们 就 可 以 考虑 是 否 使 用 和 升级 最 新 的 Netty5.0 系 列 版 本 ， 体 验 更 多 的 
新 特性 和 新 功能 。 
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作为 本 书 的 最 后 一 个 章节 ， 我 们 一 起 展望 了 Netty 的 美好 未 来 ， 作 
为 最 有 影 啊 力 的 NIO 框 名，Netty 得 到 了 众多 架构 师 和 程序 员 的 辟 爱 。 币 
望 在 未 来 的 工作 中 ， 读 者 能 够 把 Netty 用 起 来 ， 用 好 它 ， 让 它 为 你 的 项 
目 、 你 的 公司 创造 更 大 的 价值 。 








附录 。 Netty 参 数 配置 表 


